Creazione end-to-end di un sistema RAG di domande e risposte

Retrieval-Augmented Generation ancora un LLM ai propri dati. Al momento della query, recupera i chunk pertinenti da un vector store e li inserisce nel prompt, così il modello risponde basandosi sui fatti invece di tirare a indovinare.

Ogni query RAG segue quattro passaggi: (1) creare l'embedding della domanda, (2) recuperare chunk simili, (3) inserirli nel prompt come contesto, (4) l'LLM genera una risposta basata su quel contesto.

Converta il vector store in un retriever con as_retriever. Il dict search_kwargs controlla il recupero; l'impostazione più importante è k, il numero di chunk da recuperare per ogni domanda.

search_kwargs può anche impostare una soglia di punteggio o le opzioni MMR. Inizi con k=4; lo aumenti se alle risposte manca contesto, oppure lo riduca per diminuire il costo dei token e il rumore.

La chain RetrievalQA collega recupero e generazione. La costruisca con from_chain_type, passando il suo llm e il suo retriever. Con una sola chiamata può ora rispondere alle domande usando i suoi documenti.

chain_type controlla il modo in cui i chunk recuperati entrano nel prompt. "stuff" (impostazione predefinita) inserisce tutti i chunk in un unico prompt: è semplice e ideale quando rientrano nella finestra di contesto. Altri tipi, come "map_reduce", gestiscono molti chunk di grandi dimensioni.

Esegua la chain con invoke, passando la domanda nella chiave query. La chain recupera i contenuti, costruisce il prompt e restituisce la risposta basata sulle fonti.

Imposti return_source_documents=True per ottenere i chunk usati per la risposta. In questo modo può aggiungere citazioni e consentire agli utenti di verificare l'origine di ogni fatto, un aspetto fondamentale per la fiducia.

RAG può fallire in due modi: il recupero restituisce i chunk sbagliati oppure la generazione produce allucinazioni nonostante la qualità dei chunk. Servono metriche per capire quale parte correggere. Valutare le risposte a colpo d'occhio non è scalabile.

RAGAS è una libreria che valuta la qualità di RAG. Le metriche principali sono: faithfulness (la risposta è supportata dal contesto), answer_relevancy (la risposta affronta la domanda) e context_precision (i chunk recuperati sono pertinenti).

Crei un dataset di domande, risposte generate, contesti recuperati e risposte di riferimento, quindi chiami evaluate. I punteggi indicano se deve migliorare la suddivisione in chunk, il valore k del recupero o il prompt.

Ha creato una pipeline RAG completa: db.as_retriever con search_kwargs, una chain RetrievalQA.from_chain_type basata sul suo llm e sul retriever e return_source_documents=True per le citazioni. Ha inoltre imparato a misurare la qualità con metriche RAGAS come faithfulness e precisione del contesto.