Selezione dinamica few-shot

Il few-shot statico utilizza gli stessi esempi per ogni query. Il few-shot dinamico recupera gli esempi più rilevanti per ogni query da un insieme, condizionando il modello su esempi simili all'input corrente.

Si tratta di in-context learning con retrieval: aumenta la rilevanza degli esempi, una delle leve più efficaci per la qualità dell'ICL, soprattutto in presenza di traffico eterogeneo.

Precalcoli gli embedding per ogni esempio candidato e li memorizzi in un indice approximate nearest neighbor (FAISS, HNSW o un vector DB). Al momento della query, generi l'embedding dell'input una sola volta e recuperi le corrispondenze migliori.

Scelga un modello di embedding coerente con la semantica del task; un embedder generico potrebbe raggruppare gli elementi in base a caratteristiche superficiali invece che alla dimensione che predice l'etichetta corretta.

Il metodo canonico (Liu et al., 2022) recupera i k vicini più prossimi alla query dall'insieme etichettato e li utilizza come esempi. La selezione basata sul retrieval supera sistematicamente quella casuale, perché gli esempi rilevanti identificano meglio il task e forniscono il corretto spazio delle etichette.

Le etichette recuperate fungono inoltre da prior morbido del classificatore kNN, orientando il modello verso le risposte dei vicini.

Il puro top-k può restituire quasi duplicati, sprecando contesto. Applichi MMR o il clustering sui candidati recuperati per mantenere la rilevanza e garantire al contempo che gli esempi scelti coprano aspetti distinti della query.

Questo è particolarmente importante per gli input composizionali, nei quali ciascun sottoaspetto richiede un esempio rappresentativo.

La selezione dinamica aggiunge una chiamata per gli embedding e una ricerca ANN a ogni richiesta. Pianifichi queste risorse: memorizzi nella cache gli embedding delle query ripetute, raggruppi le operazioni di retrieval e mantenga l'indice in memoria.

Per i sistemi ad alto QPS, il passaggio di retrieval deve richiedere meno di un millisecondo; altrimenti il guadagno in termini di rilevanza viene annullato dall'aumento della latenza di coda.

Gli esempi dinamici interrompono il prompt-prefix caching, perché il blocco degli esempi cambia a ogni query. Mitighi il problema mantenendo un preambolo stabile memorizzato nella cache (istruzioni più alcuni esempi universali) e aggiungendo dopo di esso solo gli esempi recuperati e specifici per la query.

In questo modo recupera gran parte dei risparmi del caching, preservando al contempo la rilevanza per la query nella coda.

Se la query stessa si trova nell'insieme (caso comune durante la valutazione), il retrieval può restituire la risposta esatta, gonfiando le metriche. Durante la valutazione, escluda la query e i vicini quasi identici con similarità superiore a una soglia.

In produzione, deduplicare l'insieme e impedisca che un input precedente dello stesso utente venga riproposto come esempio.

All'inizio l'insieme è ridotto e il retrieval potrebbe restituire corrispondenze deboli. Avvii il sistema con un set statico curato, quindi faccia crescere l'insieme utilizzando tracce di produzione verificate, ricalcolando gli embedding e ricostruendo l'indice secondo una pianificazione.

Monitori l'utilizzo e l'esito di ogni esempio, così da poter eliminare quelli di scarso valore o obsoleti e mantenere snello l'indice.

La rilevanza dei nearest neighbor è una buona impostazione predefinita, ma non sempre è ottimale. I selettori avanzati considerano l'informatività (l'esempio risolve l'ambiguità della query?), la diversità e la copertura delle etichette. Alcuni metodi apprendono una policy di selezione che massimizza l'accuratezza a valle invece della similarità grezza.

Consideri la selezione come la scelta dell'insieme di esempi che riduce maggiormente l'incertezza del modello su questa query.

Confronti il sistema dinamico con baseline statiche e casuali su dati tenuti da parte e con leakage controllato. Riporti l'accuratezza, la distribuzione delle similarità del retrieval, la latenza end-to-end e il tasso di riscontri nella cache.

Un sistema dinamico che migliora l'accuratezza ma compromette il riutilizzo della cache può avere un impatto negativo sui costi; valuti l'obiettivo complessivo, non solo la qualità.

End-to-end: un insieme verificato di esempi, un modello di embedding, un indice ANN in memoria, un selettore che applica protezioni contro il leakage, diversità e ordinamento per similarità, un preambolo stabile memorizzato nella cache e un ciclo di feedback che fa crescere e riduce l'insieme.

Questa architettura trasforma il prompting few-shot in un sistema di retrieval dotato della disciplina operativa che ne deriva.

Concetti chiave:

• Il few-shot dinamico recupera esempi per ogni query e supera gli approcci casuali o statici aumentando la rilevanza.
• Generi gli embedding dell'insieme in un indice ANN; il prompting kNN è l'impostazione predefinita più solida, con ordinamento per similarità crescente.
• Aggiunga diversità (MMR) e consideri selettori basati sull'informatività o sulla riduzione dell'incertezza.
• Prevenga il leakage nel retrieval, gestisca la latenza e mantenga un preambolo statico memorizzato nella cache con una coda dinamica.
• Faccia crescere e riduca l'insieme a partire da tracce verificate; valuti insieme accuratezza, latenza e tasso di riscontri nella cache.