Il problema risolto dal RAG

Ogni modello linguistico di grandi dimensioni viene addestrato su un'istantanea di Internet aggiornata fino a una data specifica, chiamata limite temporale della conoscenza. GPT-4o ha un limite temporale all'inizio del 2024. Se gli chiede informazioni su eventi avvenuti dopo quella data, ammetterà di non saperne nulla oppure, peggio, inventerà con sicurezza informazioni plausibili ma errate. Per le applicazioni che necessitano di conoscenze aggiornate o proprietarie, questo rappresenta un problema fondamentale.

Si verifica un'allucinazione quando un LLM genera un testo dal tono autorevole ma fattualmente errato. I modelli vengono addestrati a produrre testi fluidi e coerenti, non a rifiutarsi esplicitamente di rispondere quando non conoscono qualcosa. Di conseguenza, colmano le lacune della conoscenza con ipotesi plausibili. Gli studi mostrano che persino i modelli migliori hanno allucinazioni nel 10-40% dei casi nei compiti ad alta intensità di conoscenza, se privi di un ancoraggio a fonti esterne.

Immagini di chiedere a un LLM: Quali sono i termini del contratto con il fornitore della nostra azienda per il terzo trimestre del 2025? Il modello non ha mai visto il documento interno. Invece di dire che non lo sa, potrebbe generare un riepilogo del contratto apparentemente plausibile, utilizzando un linguaggio giuridico generico. Se un dipendente agisse sulla base di quelle informazioni inventate, le conseguenze potrebbero essere gravi. Questo è esattamente il tipo di errore che RAG è stato progettato per prevenire.

L'intuizione alla base di RAG è semplice: se fornisce al modello le informazioni pertinenti all'interno del prompt, il modello non deve fare affidamento sulle conoscenze memorizzate. Passa dal generare basandosi sulla memoria al leggere dal contesto. Anche gli esseri umani funzionano così: quando servono dettagli precisi, li cercano invece di affidarsi al ricordo. RAG rende operativo questo stesso flusso di lavoro per gli LLM.

Un malinteso comune è pensare che il fine-tuning del modello sui propri documenti risolva il problema delle allucinazioni. Il fine-tuning aggiorna i pesi del modello per migliorarne lo stile, il formato e l'aderenza alle attività, ma non vi inserisce in modo affidabile conoscenze fattuali. Gli studi mostrano che i modelli sottoposti a fine-tuning continuano a produrre allucinazioni persino sui dati di addestramento. Per essere ricordate in modo affidabile, le conoscenze devono essere fornite al momento dell'inferenza tramite la finestra di contesto.

Poiché RAG recupera i dati da un archivio di documenti aggiornato, gestisce naturalmente le conoscenze che cambiano nel tempo. Quando il documento delle politiche viene aggiornato, è sufficiente reindicizzarlo e ogni query successiva utilizzerà immediatamente la nuova versione, senza dover riaddestrare il modello. Per questo, RAG è molto più pratico del fine-tuning periodico per applicazioni come le basi di conoscenza interne, i sistemi di assistenza clienti e gli strumenti di ricerca finanziaria.

La maggior parte dei dati aziendali non può essere inviata a OpenAI per l'addestramento a causa dei requisiti di privacy e conformità normativa. RAG aggira questo problema: i documenti sensibili rimangono nel proprio database vettoriale e a ogni query vengono inviati all'LLM solo i segmenti pertinenti. È persino possibile eseguire localmente un LLM come Llama 3, mantenendo tutti i dati on-premises. RAG è il modello architetturale principale per creare soluzioni di IA basate su contenuti aziendali riservati.

Quando un LLM genera una risposta basandosi sulla memoria, non c'è alcuna fonte da citare. Quando invece genera la risposta a partire da documenti recuperati, può citare le fonti esatte. È possibile chiedere al modello di includere nella risposta i nomi dei documenti e i numeri di pagina, consentendo agli utenti di aprire la fonte originale e verificarla. L'attribuzione delle fonti aumenta notevolmente la fiducia nelle risposte generate dall'IA, un aspetto fondamentale nelle applicazioni legali, mediche e finanziarie.

RAG segue un modello in due fasi al momento dell'inferenza: Retrieve — converte la domanda dell'utente in un embedding, cerca nell'archivio vettoriale i segmenti di documento più pertinenti e raccoglie i primi K risultati. Generate — costruisce un prompt che include i segmenti recuperati come contesto e chiede all'LLM di rispondere alla domanda basandosi esclusivamente su tale contesto. L'LLM legge, sintetizza e risponde.

RAG è potente, ma non è una soluzione miracolosa. Continua a fallire quando: la risposta richiede di sintetizzare centinaia di documenti (il recupero restituisce solo pochi segmenti), la domanda è intrinsecamente multi-hop e il modello deve ragionare attraverso passaggi intermedi, oppure i segmenti recuperati sono fuorvianti o contraddittori. Comprendere questi limiti aiuta a progettare sistemi ibridi che combinano RAG con agenti di ragionamento.

Esistono tre opzioni principali per fornire a un LLM conoscenze di dominio: prompt stuffing (inserire tutto nel prompt, soluzione adatta solo a corpus molto piccoli), fine-tuning (addestra bene stile e formato, ma non garantisce un richiamo affidabile dei dati fattuali) e RAG (recupera dinamicamente i fatti pertinenti al momento dell'inferenza e può gestire milioni di documenti). Per la maggior parte dei casi d'uso in produzione che richiedono conoscenze aggiornate, private o su larga scala, RAG è la scelta giusta.

Verifichi la Sua comprensione dei concetti di AI Engineering trattati in questa lezione.

In questa lezione ha imparato: perché gli LLM producono allucinazioni a causa dei limiti temporali delle conoscenze e dell'incapacità di dire «non lo so», perché il fine-tuning non risolve le allucinazioni nel richiamo di dati fattuali e come RAG fonda le risposte sui documenti recuperati, consentendo l'attribuzione delle fonti, l'accesso a conoscenze in tempo reale e l'uso sicuro di dati privati. Nella prossima lezione analizzeremo l'architettura completa di RAG, comprese le fasi di indicizzazione e recupero.