Riscrittura delle query e HyDE

La qualità del recupero è limitata dalla query. Le query grezze degli utenti sono spesso brevi, ambigue, ricche di pronomi o formulate in modo diverso dai documenti. La trasformazione della query la riformula prima del recupero per aumentare recall e precisione.

È uno degli aggiornamenti più economici e con maggiore impatto rispetto a un RAG ingenuo: correggendo la query, ne traggono vantaggio tutte le fasi successive.

La trasformazione più semplice consiste nel chiedere a un LLM di riscrivere la query dell'utente in una forma più chiara, autonoma e adatta al recupero. Corregge gli errori di battitura, espande le abbreviazioni ed elimina il rumore conversazionale.

È particolarmente importante nelle conversazioni a più turni, in cui l'ultimo messaggio è incomprensibile senza il contesto (E il secondo?).

Nel RAG conversazionale, condensare il dialogo e il nuovo turno in un'unica domanda autonoma. Senza questo passaggio, pronomi ed ellissi rendono inefficace l'embedding e il recupero collassa.

Passare i turni precedenti, così che il riscrittore possa trasformare riferimenti come questo, quello o il precedente in entità esplicite che il sistema di recupero possa trovare.

L'espansione genera sinonimi, termini correlati o formulazioni alternative per ampliare la copertura lessicale e semantica. Contrasta il disallineamento del vocabolario: il documento dice invalidate, l'utente dice revoke.

Espandere ai fini del recupero, quindi eseguire il recupero sull'unione; non mostrare la forma espansa all'utente. Prestare attenzione all'espansione eccessiva, che può attirare risultati fuori tema.

Generare diverse riformulazioni, recuperare i risultati per ciascuna e fondere le liste dei risultati (reciprocal rank fusion). Formulazioni diverse portano alla luce chunk rilevanti diversi; la fusione combina i loro punti di forza e stabilizza il recall.

Questo approccio scambia chiamate di recupero aggiuntive con una maggiore robustezza rispetto a una singola formulazione errata.

Le domande complesse e multi-hop richiedono la decomposizione in sotto-domande, con un recupero separato per ciascuna, seguita dalla composizione. Chiedere quale CEO dell'azienda che ha acquisito X sia più anziano di... non è una domanda a cui un singolo recupero possa rispondere.

Decomporre, eseguire il recupero per ogni sotto-domanda e lasciare che il generatore combini le evidenze raccolte.

HyDE (Hypothetical Document Embeddings, Gao et al., 2022) ribalta il problema. Invece di creare l'embedding della query breve, chiede all'LLM di generare un documento di risposta ipotetico, quindi crea l'embedding di quel documento ed esegue il recupero usandolo.

Il documento ipotetico usa lo stesso registro dei documenti reali, quindi il suo embedding si colloca più vicino alle risposte autentiche, risolvendo il disallineamento tra query e documento.

Una domanda e la sua risposta sono formulate in modo diverso; una domanda e una risposta falsa ma plausibile sono formulate in modo simile alla risposta reale. HyDE sfrutta il prior generativo dell'LLM per colmare questa distanza, anche se il documento ipotetico contiene errori fattuali.

La correttezza del documento ipotetico conta poco: deve soltanto avere il vocabolario e la struttura giusti per collocarsi vicino ai documenti autentici nello spazio degli embedding.

HyDE aggiunge una generazione LLM prima del recupero, aumentando latenza e costi, e può allucinare un documento ipotetico che si allontana dal tema, riducendo il recall per query di nicchia o fuori distribuzione che il modello non sa gestire.

Mitigare il problema combinando il recupero vettoriale HyDE con quello basato sulla query originale tramite fusione, così che un documento ipotetico errato non possa compromettere completamente il recall.

Queste trasformazioni si completano a vicenda. Usare la condensazione per le conversazioni, l'espansione/multi-query per le lacune del vocabolario, la decomposizione per le domande multi-hop e HyDE per il disallineamento di registro tra domanda e documento. Molti sistemi di produzione concatenano la condensazione, poi HyDE, quindi fondono i risultati con la query originale e infine applicano il reranking.

Ogni trasformazione aggiuntiva comporta una chiamata LLM, quindi attivarle in base al tipo di query invece di eseguirle sempre tutte.

Misuri ogni trasformazione in base al miglioramento del recall@k del retrieval e dell'accuratezza della risposta finale rispetto alla query grezza, su un set privo di leakage. Tenga traccia della latenza aggiuntiva e del costo LLM, così conserverà solo le trasformazioni che ripagano il loro costo.

Attenzione: una trasformazione che migliora il recall ma aggiunge distrattori può ridurre l'accuratezza della risposta se non viene abbinata a reranking e compressione.

Rifletta sul motivo per cui HyDE funziona nonostante le ipotesi siano imperfette.

Punti chiave:

• Il retrieval è limitato dalla query; trasformarla è un miglioramento RAG economico e ad alto impatto.
• La riscrittura e la condensazione rendono autonome le query delle conversazioni; l'espansione e le query multiple colmano le lacune di vocabolario.
• La scomposizione gestisce le domande multi-hop recuperando informazioni per ogni sotto-domanda.
• HyDE incorpora una risposta ipotetica per colmare il disallineamento di registro tra domanda e documento; non è necessario che l'ipotesi sia corretta.
• Combini le trasformazioni in base al tipo di query, le fonda con la query grezza per maggiore robustezza e valuti recall, accuratezza della risposta, latenza e costo.