RAG e fine-tuning: quando usare ciascuno

Quando ha bisogno che un LLM funzioni bene nel suo dominio specifico, dispone di due strategie principali: la Retrieval-Augmented Generation (RAG) inserisce dinamicamente conoscenze rilevanti al momento dell'inferenza, mentre il fine-tuning aggiorna i pesi del modello per incorporare conoscenze, stile o preferenze di formato. Scegliere correttamente tra le due può fare la differenza tra un sistema affidabile e mesi di costoso calcolo su GPU sprecati per l'approccio sbagliato.

Il fine-tuning aggiorna i pesi del modello mediante l'addestramento su coppie di input e output di esempio. È particolarmente efficace per modificare il comportamento: insegnare a un modello a rispondere sempre in uno specifico formato JSON, adottare il tono di un brand, seguire schemi di ragionamento specifici del dominio o svolgere un tipo di attività per il quale non era stato ottimizzato. Il fine-tuning non aggiorna in modo affidabile le conoscenze fattuali: i modelli possono adattarsi eccessivamente agli esempi di addestramento senza generalizzare i fatti sottostanti a nuove query.

RAG non modifica i pesi del modello. Invece, cambia le informazioni disponibili per il modello al momento dell'inferenza inserendo documenti rilevanti nella finestra di contesto. RAG è particolarmente efficace per la conoscenza: rispondere a domande su documenti privati, mantenere aggiornate le risposte con dati frequentemente modificati e basare le risposte su fonti verificabili. Ciò che RAG non modifica facilmente è lo stile intrinseco del modello, le preferenze di formato o l'approccio al ragionamento.

Per ogni caso d'uso in cui le informazioni cambiano nel tempo, RAG è chiaramente superiore. Reindicizzare un vector store quando i documenti vengono aggiornati richiede pochi minuti e nessuna risorsa GPU. Eseguire il fine-tuning di un modello con nuovi dati richiede un nuovo addestramento (costoso e lento) e, anche in quel caso, il modello potrebbe non ricordare in modo affidabile i nuovi fatti. Cataloghi di prodotti, normative legali, linee guida mediche e policy aziendali traggono tutti maggiore beneficio da RAG che dal fine-tuning.

Se ha bisogno che il modello risponda sempre con uno stile, un tono o un formato strutturato molto specifico, che il prompt engineering da solo non riesce a imporre in modo affidabile, il fine-tuning è lo strumento giusto. Alcuni esempi: un bot per il servizio clienti che deve usare sempre il vocabolario specifico del suo brand, un generatore di codice che deve produrre codice conforme alla guida di stile interna dell'azienda o un modello di classificazione che deve restituire in modo affidabile una tassonomia rigida in migliaia di casi limite.

Il fine-tuning ha un costo iniziale elevato (calcolo per l'addestramento, tempo per preparare il dataset e valutazione), ma riduce il costo per query se consente di utilizzare un modello più piccolo. RAG ha un costo iniziale ridotto (l'indicizzazione del database vettoriale è economica), ma aggiunge un sovraccarico per query: una chiamata all'API di embedding e prompt leggermente più lunghi con il contesto inserito. Per la maggior parte delle applicazioni con meno di 10 milioni di query giornaliere, il sovraccarico per query di RAG è trascurabile rispetto al costo di sviluppo del fine-tuning.

I modelli sottoposti a fine-tuning possono essere più veloci durante l'inferenza perché richiedono prompt più brevi: la conoscenza è nei pesi, non nel contesto. RAG aggiunge due round-trip: una chiamata all'API di embedding e una query di ricerca vettoriale. Il sovraccarico totale è in genere di 50-200 ms. Per le applicazioni sensibili alla latenza, come gli assistenti vocali in tempo reale, questo sovraccarico è importante. Per la maggior parte delle applicazioni di chat e domande e risposte, la latenza aggiuntiva è impercettibile per gli utenti.

RAG offre una traccia di audit chiara: per ogni risposta sa esattamente quali documenti sono stati recuperati e può mostrarli all'utente. I modelli sottoposti a fine-tuning rispondono basandosi su pesi opachi: non esiste alcuna registrazione dell'esempio di addestramento che ha prodotto un determinato output. Nei settori regolamentati, come quello finanziario, sanitario e legale, dove le risposte devono essere spiegabili e verificabili, la trasparenza di RAG rappresenta un vantaggio significativo rispetto al fine-tuning.

RAG e fine-tuning non si escludono a vicenda. Un pattern comune in produzione consiste nell'eseguire il fine-tuning di un modello per ottenere un formato di output e un vocabolario di dominio coerenti, quindi aggiungere RAG per fornire conoscenze fattuali aggiornate. Il modello sottoposto a fine-tuning gestisce in modo affidabile stile e struttura, mentre RAG gestisce la conoscenza. Questa combinazione supera entrambi gli approcci usati singolarmente nelle applicazioni aziendali ad alta criticità.

Segua questo percorso decisionale: il problema riguarda la coerenza di stile o formato? → Prenda in considerazione il fine-tuning. Le informazioni sono private o aggiornate frequentemente? → Utilizzi RAG. Ha bisogno di citazioni delle fonti? → Utilizzi RAG. Il dataset è troppo piccolo per il fine-tuning (meno di 500 esempi)? → Utilizzi RAG con prompting few-shot. Ha bisogno che il modello gestisca un'attività che attualmente rifiuta di svolgere? → Esegua il fine-tuning con RLHF o DPO. In caso di dubbio, inizi con RAG: è più rapido da creare, più facile da aggiornare e più trasparente.

Utilizzi questi scenari per sviluppare il suo intuito: chatbot interno per le risorse umane (le policy cambiano ogni trimestre, è necessario citare le fonti) → RAG. Completamento del codice per un framework proprietario (stile del codice coerente, pattern del framework) → Fine-tuning. Domande e risposte su documenti legali (documenti privati, sono necessarie citazioni precise) → RAG. Bot per l'assistenza clienti (tono specifico, le FAQ sui prodotti cambiano ogni settimana) → Fine-tuning per il tono + RAG per la conoscenza. Riassuntore di letteratura medica (ricerche aggiornate, l'attribuzione è fondamentale) → RAG.

Verifichi la sua comprensione dei concetti di AI Engineering trattati in questa lezione.

In questa lezione ha imparato: il fine-tuning modifica il comportamento e lo stile del modello, ma non aggiorna in modo affidabile le conoscenze fattuali; RAG fornisce dinamicamente conoscenze al momento dell'inferenza, con piena trasparenza e citazione delle fonti; e il quadro decisionale per scegliere: utilizzi RAG per conoscenze private aggiornate frequentemente che richiedono attribuzione, il fine-tuning per stile e formato coerenti e combini entrambi per applicazioni aziendali ad alta criticità. Nel prossimo argomento inizieremo a creare da zero una pipeline RAG completa.