Zero-shot, one-shot e few-shot

Gli shot indicano il numero di esempi etichettati inseriti nel prompt prima della query effettiva. Lo zero-shot si basa interamente sui priori appresi dal modello; il few-shot condiziona il modello su una piccola distribuzione specifica dell'attività al momento dell'inferenza, senza modificare i pesi.

Si tratta dell'apprendimento in contesto (ICL): il trasformatore tratta gli esempi come parte della sequenza ed esegue implicitamente una sorta di regressione meta-appresa su di essi. La scelta di k (numero di shot) è un iperparametro da ottimizzare empiricamente, non una best practice fissa.

Preferisca lo zero-shot quando il task è ben rappresentato nel pre-addestramento (riepilogo, traduzione, classificazione comune) e quando gli esempi rischiano di influenzare il formato dell'output. Nei modelli ottimizzati per le istruzioni, una direttiva chiara e concisa accompagnata da uno schema di output spesso funziona meglio di esempi che ancorano sottilmente lo stile.

Lo zero-shot riduce inoltre al minimo il costo in token e la latenza, evitando il bias della classe maggioritaria, per cui il modello tende a prevedere eccessivamente la classe dominante nelle dimostrazioni.

Lo one-shot dà il meglio quando il task è concettualmente chiaro, ma il formato dell'output è insolito o rigido. Una singola dimostrazione insegna la forma esatta (chiavi JSON, delimitatori, uso di maiuscole e minuscole) in modo molto più affidabile di una descrizione in prosa.

Utilizzi il one-shot quando desidera vincolare la struttura senza consumare troppi token né rischiare la distorsione della distribuzione delle etichette introdotta da più esempi.

Le prestazioni al variare di k raramente seguono un andamento monotono. In genere aumentano, raggiungono un plateau e poi peggiorano quando gli esempi sovraffollano il contesto, diluiscono l'attenzione e allontanano la query corrente dal focus di recenza del modello.

Esegua empiricamente una scansione di k in {1, 2, 4, 8, 16} su un set di dati messo da parte per la valutazione. Il valore ottimale di k dipende dalla complessità del task, dalla lunghezza degli esempi e dall'utilizzo effettivo del contesto da parte del modello, che di solito è molto inferiore alla finestra dichiarata.

La ricerca interpreta ICL come un'inferenza bayesiana implicita eseguita dal modello: le dimostrazioni aiutano a individuare il concetto latente del task che il modello ha già appreso durante il pre-addestramento. Gli esempi fungono da evidenza che restringe la distribuzione a posteriori sui task, non da nuova conoscenza.

Questo spiega un risultato controintuitivo: anche etichette errate nelle dimostrazioni possono preservare gran parte dell'accuratezza, perché il segnale dominante è dato dal formato e dallo spazio delle etichette, non dalla corrispondenza tra input ed etichetta.

Ogni shot consuma contesto e denaro. Con dimostrazioni lunghe, quattro esempi possono superare di gran lunga la query. Calcoli una metrica di costo per punto di accuratezza: se k=8 offre un vantaggio dello 0,5% rispetto a k=4 al doppio dei token, in produzione vince k=4.

Per le pipeline ad alto throughput, preferisca il prompt caching del blocco statico di esempi, in modo che le dimostrazioni ripetute vengano fatturate ed elaborate una sola volta.

I prompt few-shot nascondono diversi bias. Il bias della classe maggioritaria porta il modello a preferire la classe più frequente nelle dimostrazioni. Il bias di recenza attribuisce un peso eccessivo all'ultimo esempio. Il bias dei token comuni favorisce i token che compaiono più spesso.

Le tecniche di calibrazione, come la calibrazione contestuale, stimano il prior del modello su un input privo di contenuto (per esempio, il token N/A) e lo dividono, stabilizzando notevolmente i classificatori few-shot.

Per contrastare il bias della classe maggioritaria, bilanci le classi nelle dimostrazioni e ne vari l'ordine. Per una classificazione binaria con k=4, utilizzi 2 esempi positivi e 2 negativi, mescolati, anziché un rapporto 3:1.

Per i task di generazione, bilanci le dimensioni rilevanti (lunghezza, tono, difficoltà), così il modello non collassa in un'unica modalità, quella osservata più spesso.

Il few-shot è lo strumento giusto quando il task cambia spesso, i dati sono scarsi o non può ospitare un modello ottimizzato. Il fine-tuning è preferibile quando dispone di migliaia di esempi, ha bisogno della latenza minima per chiamata o desidera incorporare il formato nel modello, così da mantenere brevi i prompt.

Un percorso comune in produzione consiste nel prototipare con il few-shot, raccogliere le tracce riuscite e poi distillarle in un fine-tuning, eliminando del tutto i token degli esempi.

Per il ragionamento in più passaggi, le semplici coppie few-shot domanda-risposta possono danneggiare le prestazioni: il modello impara a saltare direttamente a una risposta che non sa giustificare. Abbini il few-shot a dimostrazioni chain-of-thought che mostrino la traccia del ragionamento, non solo l'etichetta finale.

Il numero di shot interagisce con la profondità del ragionamento; spesso 2 esempi CoT di alta qualità superano 8 esempi con la sola risposta nei benchmark di aritmetica e logica.

Consideri la selezione degli shot come una ricerca empirica supportata da un harness. Metta da parte un set di validazione, controlli l'ordine degli esempi usando più seed e riporti media e varianza, perché l'accuratezza few-shot può variare di diversi punti solo a causa dell'ordine.

Registri il conteggio dei token e la latenza per ogni k, così la scelta finale ottimizzerà l'obiettivo complessivo e non soltanto l'accuratezza.

Verifichi la propria comprensione della selezione degli shot e dei bias di ICL.

Punti chiave:

• k è un iperparametro regolabile: esegua una scansione e osservi la curva di crescita, plateau e degrado.
• Lo zero-shot è adatto ai task ben noti; il one-shot ancora i formati rigidi; il few-shot condiziona il modello su una distribuzione di task.
• ICL funziona individuando un task appreso nel pre-addestramento, quindi il formato e lo spazio delle etichette prevalgono sulla correttezza delle etichette.
• Contrasti i bias della classe maggioritaria, di recenza e dei token comuni bilanciando, mescolando e applicando la calibrazione contestuale.
• Ottimizzi l'accuratezza per euro, abbini i task di ragionamento a esempi CoT e distilli i prompt few-shot stabili in modelli sottoposti a fine-tuning.