Caricamento, suddivisione ed embedding dei documenti

Prima che un LLM possa rispondere usando i suoi documenti, deve caricarli, suddividerli e crearne gli embedding. Questa lezione illustra la pipeline di ingestione, la base di ogni sistema di Retrieval-Augmented Generation.

PyPDFLoader legge un PDF e restituisce un elenco di oggetti Document, uno per pagina. Ogni Document contiene page_content (il testo) e metadata (origine e numero di pagina).

Le pagine intere sono spesso troppo grandi per creare embedding o per entrare in un prompt. La suddivisione separa il testo in chunk più piccoli, facili da sottoporre a embedding, e consente al recupero di restituire solo il passaggio pertinente anziché un'intera pagina.

Lo splitter consigliato è RecursiveCharacterTextSplitter. Prova a suddividere prima per paragrafi, poi per frasi e infine per parole, mantenendo la coerenza semantica dei chunk invece di interromperli a metà di una parola.

chunk_size imposta il numero massimo di caratteri per chunk; chunk_overlap ripete una parte del testo tra i chunk adiacenti, così il contesto non si perde ai confini. Una suddivisione 1000/200 è un punto di partenza comune.

I chunk piccoli offrono un recupero preciso, ma possono perdere il contesto circostante. I chunk grandi conservano il contesto, ma riducono la pertinenza e consumano più token. Una sovrapposizione pari al 10-20% della dimensione del chunk è un buon valore predefinito per collegare i confini.

Un embedding trasforma il testo in un vettore di numeri a lunghezza fissa che ne cattura il significato. I testi simili producono vettori vicini. Questo consente di cercare in base alla similarità semantica invece che alle parole chiave.

Crei gli embedding con OpenAIEmbeddings. Il modello text-embedding-3-small è economico ed efficace. embed_query crea l'embedding di una stringa; embed_documents crea gli embedding di un elenco.

Crei gli embedding di tutti i chunk in una sola volta. Ogni chunk diventa un vettore che in seguito verrà memorizzato in un database vettoriale per eseguire rapidamente la ricerca per similarità.

Gli embedding vengono fatturati per token. Stimi il numero totale di token di tutti i chunk, quindi lo moltiplichi per il prezzo per 1.000 token. Contare i token prima di creare gli embedding evita costi imprevisti sui corpus di grandi dimensioni.

Il flusso di ingestione consiste nel caricare i documenti, suddividerli in chunk sovrapposti, creare l'embedding di ogni chunk trasformandolo in un vettore e, nella lezione successiva, memorizzarli. Una buona suddivisione e l'attenzione ai costi determinano la qualità e il prezzo dell'intero sistema RAG.

Verifichi la sua conoscenza dell'ingestione.

Ha usato PyPDFLoader per caricare i documenti, RecursiveCharacterTextSplitter con chunk_size e chunk_overlap per suddividerli in chunk e OpenAIEmbeddings per trasformare i chunk in vettori. Ha inoltre imparato a stimare il costo degli embedding per token prima di elaborare un corpus di grandi dimensioni.