Retrieval dense e sparse: compromessi

I moderni sistemi di recupero si basano su due segnali distinti: il recupero denso codifica il significato in spazi vettoriali continui, mentre il recupero sparso conta le occorrenze esatte dei termini. Questi segnali sono complementari, non intercambiabili. Comprendere i punti di forza e di debolezza di ciascuno è il primo passo per costruire un sistema che li utilizzi entrambi in modo efficace.

Il recupero denso mappa la query e ogni documento in un vettore ad alta dimensionalità utilizzando un encoder neurale. La similarità viene misurata tramite la distanza coseno o il prodotto scalare tra i vettori. Poiché l'encoder è stato addestrato su grandi corpora di testo, le frasi semanticamente correlate finiscono vicine nello spazio vettoriale anche se non condividono alcuna parola: questo è il principale vantaggio del recupero denso.

I modelli densi incontrano difficoltà con i termini rari scarsamente rappresentati durante l'addestramento dell'encoder. Una query contenente un numero di modello specifico come RTX-4090-Ti-OC, il nome di un farmaco o un identificatore interno proprietario spesso non riesce a trovare il documento corretto, perché l'encoder non dispone di una rappresentazione appresa per quella sequenza di token. Il vettore finisce semplicemente in una posizione poco utile nello spazio degli embedding.

BM25 (Best Matching 25) è una funzione probabilistica di ranking che assegna un punteggio ai documenti in base alla frequenza con cui i termini della query compaiono nel documento, normalizzando il risultato in base alla lunghezza del documento e attenuandolo in caso di saturazione della frequenza dei termini. Produce un vettore di punteggi sparso: la maggior parte delle dimensioni è pari a zero, perché i documenti contengono solo una piccola frazione del vocabolario.

BM25 eccelle nelle query che contengono termini tecnici esatti, nomi di prodotto, codici di errore e identificatori numerici che devono corrispondere con precisione. Una query per ORA-01017 (un codice di errore Oracle) assegnerà ai documenti contenenti quella stringa esatta un ranking molto più alto rispetto ai documenti che parlano semplicemente di autenticazione dei database in termini generali. Ciò è impossibile per un modello denso che non abbia mai incontrato quel codice specifico.

BM25 non riconosce le parafrasi semantiche. Un documento sulla "riparazione del motore di un'automobile" otterrà un punteggio pari a zero per una query sulla "manutenzione del motore di un'auto", perché nessuna delle parole esatte coincide. Questo problema di mancata corrispondenza del vocabolario, talvolta chiamato divario lessicale, fa sì che la ricerca basata esclusivamente sulle parole chiave perda enormi quantità di contenuti pertinenti che esprimono semplicemente la stessa idea con parole diverse.

I benchmark su BEIR, MS MARCO e sui dataset aziendali di domande e risposte mostrano con costanza che il recupero ibrido supera il recupero esclusivamente denso o sparso del 5-15 percento in termini di NDCG@10. Il miglioramento è maggiore nei dataset che combinano ricerche di fatti (dove BM25 è utile) e query formulate come parafrasi (dove sono utili gli embedding densi). Nessun singolo metodo di recupero prevale su tutti i tipi di query.

È possibile prevedere quale retriever avrà prestazioni migliori analizzando il tipo di query. Il recupero denso prevale nelle domande concettuali, nelle parafrasi e nelle query su argomenti generali. BM25 prevale nelle query che contengono nomi propri, numeri di versione, frammenti di codice, acronimi e termini tecnici rari. Il recupero ibrido vince sempre quando il tipo di query non è noto in anticipo, situazione che in produzione si verifica quasi sempre.

La combinazione di risultati densi e sparsi non è banale, perché i relativi punteggi si trovano su scale incompatibili. La similarità coseno produce valori compresi tra -1 e 1, mentre BM25 produce punteggi positivi non limitati che dipendono dalle dimensioni del corpus. Non è possibile semplicemente sommarli. La soluzione standard consiste nell'utilizzare una fusione basata sul ranking anziché una fusione basata sui punteggi, unendo liste ordinate invece dei punteggi grezzi.

Utilizzate il recupero solo denso quando il corpus appartiene a un ambito ristretto, con un vocabolario coerente, e avete bisogno di generalizzazione semantica tra parafrasi. Utilizzate solo BM25 quando le query sono principalmente di tipo lookup, con identificatori esatti, e il dataset è abbastanza piccolo da rendere praticabile la ricerca esaustiva. Utilizzate un approccio ibrido in tutti i sistemi RAG di produzione in cui i tipi di query variano: l'overhead è contenuto e il miglioramento del recall è significativo.

Il recupero denso richiede una ricerca approssimata dei vicini più prossimi accelerata da GPU o un database vettoriale, con un conseguente aumento dei costi infrastrutturali. BM25 viene eseguito interamente sulla CPU con un indice invertito ed è estremamente veloce. Il recupero ibrido richiede entrambi i componenti infrastrutturali, oltre a un passaggio di fusione. La complessità aggiuntiva è giustificata dal miglioramento del recall nella maggior parte dei casi d'uso di produzione, ma deve essere valutata in rapporto al budget infrastrutturale.

In questa lezione avete imparato che il recupero denso cattura il significato semantico, ma non gestisce bene i termini esatti rari; il recupero sparso BM25 gestisce le parole chiave esatte, ma non riconosce le parafrasi; e il recupero ibrido supera costantemente entrambi i metodi presi singolarmente per tipi di query diversi. I relativi punteggi sono incompatibili e devono essere combinati tramite la fusione dei ranking, anziché tramite la somma dei punteggi. Nel prossimo passaggio implementeremo la ricerca per parole chiave BM25 in Python.