Retrieval Augmented Generation (RAG)

Benvenuto alla lezione sulla Retrieval Augmented Generation (RAG)! Questa lezione presenta una tecnica efficace per rendere i Large Language Models (LLM) più accurati e affidabili.

RAG combina l'ampia conoscenza degli LLM con informazioni esterne aggiornate. È come dare a un LLM un libro aperto durante un esame difficile!

Gli LLM di base, sebbene impressionanti, presentano alcune limitazioni:

• Allucinazioni: A volte possono generare informazioni fattualmente errate o prive di senso.
• Conoscenze obsolete: Le loro conoscenze sono limitate alla data limite dei dati di addestramento.
• Mancanza di specificità: Potrebbero non conoscere fatti di nicchia o specifici di un dominio privato.
• Assenza di citazioni: Non sono in grado di indicare facilmente la provenienza delle informazioni.

RAG supera queste limitazioni integrando un sistema di recupero con un LLM generativo.

Prima che l'LLM generi una risposta, RAG recupera innanzitutto informazioni pertinenti da una base di conoscenze esterna affidabile. Queste informazioni recuperate vengono quindi utilizzate per "arricchire" (potenziare) il prompt fornito all'LLM.

Il primo passaggio di RAG è il recupero. Quando un utente pone una domanda, entra in azione un componente dedicato, il 'retriever'.

• Analizza la query dell'utente.
• Cerca in un'ampia base di conoscenze esterna (ad es. documenti, database, pagine web).
• Individua e recupera i frammenti di informazioni o i 'documenti' più pertinenti alla query.

Una volta recuperate le informazioni pertinenti, il passaggio successivo è l'arricchimento.

• I frammenti di testo recuperati vengono inseriti direttamente nel prompt originale dell'utente.
• Si crea così un "prompt arricchito" che contiene sia la richiesta dell'utente sia il contesto fattuale.
• Questo prompt arricchito fornisce all'LLM i dati specifici necessari per formulare una risposta accurata.

Infine, ha luogo il passaggio di generazione. Il modello linguistico di grandi dimensioni (LLM) riceve il prompt arricchito.

• Con il contesto pertinente fornito esplicitamente, l'LLM genera la propria risposta.
• Gli viene indicato di basare la risposta principalmente sulle informazioni fornite, anziché affidarsi esclusivamente alle proprie conoscenze preaddestrate.
• Ne risultano output più fondati sui dati, fattuali e verificabili.

L'implementazione di RAG offre diversi vantaggi significativi:

• Riduzione delle allucinazioni: Le risposte dell'LLM sono ancorate ai fatti presenti nella base di conoscenze.
• Informazioni aggiornate: Accesso a dati attuali oltre la data limite dell'addestramento dell'LLM.
• Specificità del dominio: Integrazione semplice di dati organizzativi privati o specializzati.
• Spiegabilità: Il sistema può spesso citare le fonti da cui sono state recuperate le informazioni.

Vediamo una semplice interazione RAG:

1. Query dell'utente: "Quando è stata completata la Torre Eiffel?"
2. Recupero: Il sistema cerca in un database di fatti storici e trova: "La Torre Eiffel è stata completata il 31 marzo 1889."
3. Arricchimento: Il prompt diventa: "In base alle seguenti informazioni: 'La Torre Eiffel è stata completata il 31 marzo 1889', quando è stata completata?"
4. Generazione: L'LLM risponde: "La Torre Eiffel è stata completata il 31 marzo 1889."

Alla base, un sistema RAG è costituito da due componenti logici principali:

• Il retriever: Questo componente è responsabile della ricerca e del recupero dei documenti o frammenti di dati più pertinenti da una base di conoscenze esterna, in base alla query dell'utente.
• Il generatore: È il modello linguistico di grandi dimensioni (LLM) stesso, che combina la query originale dell'utente con il contesto recuperato per produrre una risposta coerente e informata.

Ora conosce il concetto fondamentale e l'architettura della Retrieval Augmented Generation (RAG). RAG è una tecnica fondamentale per creare applicazioni LLM più affidabili, fattuali e consapevoli del contesto.

Combinando il recupero con la generazione, RAG consente agli LLM di interagire con dati dinamici esterni e di fornire risposte basate su di essi. Successivamente esploreremo il ruolo fondamentale dei database vettoriali nel recupero efficiente per i sistemi RAG!