Perso nel mezzo

Nei modelli a contesto lungo, l'accuratezza del retrieval segue una curva a forma di U in base alla posizione: i fatti all'inizio e alla fine del contesto vengono richiamati bene, mentre quelli al centro vengono richiamati peggio. Questo è l'effetto «lost in the middle».

• È una proprietà dell'attenzione e dell'addestramento, non un fenomeno casuale.
• Persiste anche quando la risposta è presente in modo inequivocabile.

La posizione non è neutrale: è un fattore di affidabilità di cui deve tenere conto nella progettazione.

Nel centro si sommano diverse pressioni: i bias posizionali favoriscono i token più recenti e quelli iniziali, i dati di addestramento sovrarappresentano gli schemi in cui la risposta è vicina all'inizio o alla fine e l'enorme quantità di distrattori concorrenti nella parte interna diluisce l'attenzione su ogni singolo fatto.

Non può rimuovere il bias dal modello, ma può smettere di contrastarlo.

La prima contromisura, e la più affidabile, consiste nel mettere ai margini ciò che il modello deve utilizzare. L'istruzione dell'attività e le informazioni più importanti devono trovarsi vicino all'inizio e alla fine, non essere sepolte al centro.

• Inizi con l'attività e i fatti chiave.
• Ripeta l'istruzione principale proprio alla fine («promemoria del compito: ...»).

Quando controlla l'ordine dei chunk recuperati, non li disponga dall'inizio alla fine secondo il punteggio di retrieval. Li intercalI in modo che i chunk più rilevanti si trovino su entrambi i margini e quelli meno rilevanti riempiano il centro, sfruttando deliberatamente la curva a U.

Questo «caricamento ai margini» può recuperare una parte consistente della perdita nelle posizioni centrali.

La soluzione più economica alla perdita nelle posizioni centrali consiste nell'avere meno centro. Un pre-filtraggio aggressivo, eliminando i chunk irrilevanti prima dell'assemblaggio, riduce la parte interna in cui i fatti si perdono e concentra l'attenzione su ciò che conta.

Un prompt mirato da 15k token ha un centro vulnerabile quasi inesistente; un prompt da 600k token è costituito per lo più da centro.

Fornisca al modello una mappa. Un indice all'inizio, insieme a chiari riferimenti alle sezioni, permette al modello di raggiungere le aree pertinenti invece di affidarsi al richiamo puramente posizionale.

• Numeri le sezioni e vi faccia riferimento nella domanda.
• Aggiunga riferimenti espliciti come SEZIONE 7: PREZZI, che il modello possa cercare.

La struttura sostituisce in parte l'affidabilità posizionale.

Chieda al modello di elencare dove compare il materiale pertinente prima di rispondere. Individuare prima le informazioni contrasta la tendenza a saltare il centro.

«Prima elenchi ogni sezione che menziona la tariffa di rinnovo con il relativo riferimento, poi risponda.» La scansione esplicita fa emergere i contenuti centrali che una domanda diretta non riuscirebbe a recuperare.

Se un fatto critico finisce nella zona morta e il richiamo è incerto, ripeta la chiamata spostando quel fatto su un margine. Per le attività con più fatti, può eseguire passaggi che ruotano i fatti occupando di volta in volta le posizioni più affidabili, quindi riconciliare i risultati.

La rotazione delle posizioni è un metodo pratico per aumentare la robustezza quando un singolo layout non è affidabile.

Per le attività esaustive («trovi tutte le violazioni»), un unico passaggio gigantesco ometterà gli elementi centrali. Divida il contenuto in finestre sovrapposte abbastanza piccole da non avere un centro debole, esegua ogni finestra, quindi unisca i risultati ed elimini i duplicati.

• La sovrapposizione previene le omissioni ai margini.
• La fase di unione riconcilia duplicati e conflitti.

Le attività di copertura favoriscono molti passaggi piccoli rispetto a un unico passaggio enorme.

La gravità dell'effetto varia in base al modello e alla struttura del prompt. Lo caratterizzi: inserisca un canary a profondità progressive e tracci il richiamo. Utilizzi la curva per decidere la lunghezza sicura del contesto e la strategia di caricamento ai margini per quel modello.

Progetti in base al comportamento misurato, non a supposizioni tramandate.

Per superare l'effetto «lost in the middle»: riduca il pagliaio, carichi ai margini i contenuti più rilevanti, ripeta l'attività in coda, aggiunga un indice e imponga una scansione per individuare i contenuti prima di rispondere, ruoti le posizioni quando ripete la domanda e utilizzi suddivisione e unione per una copertura esaustiva. Soprattutto, misuri la curva del proprio modello e progetti tenendone conto.

Il richiamo nei contesti lunghi segue una curva a forma di U: i margini sono affidabili, il centro no. Per contrastare il fenomeno, riduca il pagliaio, carichi ai margini i chunk più rilevanti, ripeta l'attività in coda, aggiunga un indice e imponga una scansione per individuare i contenuti prima di rispondere, ruoti le posizioni quando ripete la domanda e utilizzi suddivisione e unione per una copertura esaustiva. Misuri la curva effettiva del proprio modello e progetti il posizionamento in base a essa, invece di presumere un richiamo uniforme.