Prompting zero-shot e few-shot

Il prompting zero-shot consiste nel chiedere al modello di eseguire un'attività senza fornirgli esempi di come svolgerla. Descrive semplicemente l'attività e lascia che il modello applichi le conoscenze acquisite durante il pre-training. Funziona bene per attività che il modello ha incontrato molte volte durante l'addestramento, come la traduzione, la sintesi o la classificazione semplice.

Per esempio, chiedere al modello di Classificare questa recensione come Positiva o Negativa è un prompt zero-shot. Durante il pre-training, il modello ha assimilato migliaia di esempi di classificazione del sentimento, quindi può svolgere l'attività senza che gli vengano mostrati esempi direttamente nel prompt.

I prompt zero-shot sono concisi e si basano sulle conoscenze integrate nel modello. Funzionano meglio quando l'attività è comune e non ambigua. Noti che il prompt seguente definisce chiaramente l'attività senza mostrare esempi di output corretti.

Il prompting zero-shot può fallire quando il formato dell'attività è insolito, quando il modello deve seguire uno schema di output non comune o quando serve una formattazione coerente che il modello potrebbe interpretare diversamente a ogni esecuzione. Chiedere al modello di estrarre dati in una struttura JSON molto specifica, con nomi di campo personalizzati, è rischioso con un prompt zero-shot, perché il modello deve indovinare esattamente le Sue intenzioni.

Lo zero-shot presenta difficoltà anche con il gergo specifico del dominio o con categorie di classificazione di nicchia che il modello potrebbe non aver incontrato spesso durante il pre-training. In questi casi, fornire esempi migliora notevolmente la precisione.

Il prompting few-shot consiste nel fornire al modello da 2 a 8 esempi del compito (input e output desiderato) prima di presentare la query effettiva. Gli esempi insegnano al modello il formato esatto e lo schema di classificazione desiderati, senza richiedere fine-tuning o addestramento.

È una delle tecniche più potenti e meno utilizzate del prompt engineering. Il modello usa gli esempi per dedurre lo schema e applicarlo al nuovo input. La ricerca descritta nell'articolo su GPT-3 ha mostrato che le prestazioni su molti compiti aumentano significativamente con il numero di esempi, fino a circa 8; dopodiché i miglioramenti si stabilizzano e si sprecano solo token.

Un prompt few-shot segue uno schema coerente: mostrare N esempi sotto forma di coppie input-output, quindi presentare il nuovo input e lasciare che sia il modello a completare l'output. La formattazione degli esempi insegna al modello il formato esatto dell'output atteso.

La qualità degli esempi è importante quanto la loro quantità. Scelga esempi che:

• Coprono i casi limite — includano un esempio con un input ambiguo, così il modello capisce come desidera che venga gestito
• Coprono l'intero spazio degli output — se sono disponibili tre classi, includa almeno un esempio per ciascuna
• Sono rappresentativi — utilizzi esempi simili per stile e complessità agli input reali di produzione
• Hanno un formato coerente — qualsiasi incoerenza di formato negli esempi si ripercuoterà sull'output del modello

Esempi scelti male possono addirittura peggiorare le prestazioni, inducendo il modello a farsi un'idea errata della distribuzione dei compiti.

Utilizzi lo zero-shot quando: il compito è comune e ben definito, desidera ridurre al minimo il costo in token oppure sta iterando rapidamente e non è ancora facile raccogliere esempi. Lo zero-shot è preferibile anche quando la conoscenza generale del modello non dovrebbe essere condizionata dagli esempi.

Utilizzi il few-shot quando: il formato dell'output è insolito o rigido, sono presenti categorie specifiche del dominio, lo zero-shot produce una formattazione incoerente oppure è necessario che il modello segua con coerenza uno stile o un tono particolare. Il few-shot è particolarmente efficace per l'estrazione, la classificazione e la generazione con vincoli di formato.

La classificazione è uno dei casi d'uso più vantaggiosi del prompting few-shot. Quando si utilizzano etichette personalizzate che non corrispondono a categorie comuni, fornire esempi addestra il modello sulla tassonomia desiderata. Gli esempi riportati di seguito definiscono esattamente il significato di Bug, Feature Request e Question nel contesto dei ticket di supporto.

Tra zero-shot e few-shot si colloca il prompting one-shot: fornire esattamente un esempio. Spesso è sufficiente per risolvere problemi di formattazione o chiarire compiti ambigui e richiede molti meno token rispetto a un prompt few-shot completo. L'approccio one-shot è un buon primo passo quando lo zero-shot produce risultati inaffidabili.

Nella pratica, inizi con lo zero-shot, valuti un campione di input reali e aggiunga esempi solo nei casi in cui il modello commette errori. In questo modo i prompt rimangono essenziali ed efficienti in termini di token, concentrando i miglioramenti dove sono più importanti.

Nei sistemi di produzione, utilizzare sempre gli stessi pochi esempi per ogni query non è ottimale. La selezione dinamica few-shot recupera da un archivio di esempi etichettati quelli più simili all'input corrente, usando la similarità tra embedding, e inserisce nel prompt solo tali esempi.

In questo modo il modello vede sempre le dimostrazioni più pertinenti per lo specifico input, anziché esempi generici che potrebbero non corrispondere allo stile o al dominio dell'input. Questa tecnica combina i vantaggi del prompting few-shot con la scalabilità di un sistema di recupero ed è talvolta chiamata prompting aumentato dal recupero basato su esempi.

Il prompting few-shot è il metodo più affidabile per imporre formati di output rigidi prima di avere accesso agli structured outputs o alla modalità JSON. Mostrando al modello il formato esatto desiderato — inclusi nomi dei campi, delimitatori e ordinamento — si aumenta notevolmente la probabilità di ottenere un output analizzabile.

Termini sempre il prompt few-shot con l'inizio dello schema di output previsto (ad esempio, la parentesi graffa di apertura di un oggetto JSON o il nome del primo campo). In questo modo si orienta il modello a continuare lo schema, invece di indurlo potenzialmente a riassumere o commentare prima il compito.

Verifichi la Sua comprensione dei concetti di AI Engineering trattati in questa lezione.

In questa lezione ha imparato che: il prompting zero-shot chiede al modello di eseguire i compiti basandosi solo sulla descrizione, il prompting few-shot fornisce da 2 a 8 esempi di input e output per insegnare il formato e la tassonomia e la selezione dinamica few-shot recupera gli esempi più pertinenti per ogni query usando la similarità tra embedding. Ora esamineremo il prompting chain-of-thought per i compiti di ragionamento complessi.