Strategie di chunking: fisso, per frasi e ricorsivo

Il chunking è il processo di suddivisione dei documenti caricati in parti più piccole, compatibili con la finestra di contesto dell'LLM e indicizzabili e recuperabili singolarmente. Il modo in cui suddivide i documenti determina la qualità del recupero più di quasi ogni altro fattore. Se un chunk divide una risposta tra due parti, nessuna delle due sarà sufficiente da sola per rispondere alla domanda. Un chunk che mescola due argomenti non correlati verrà recuperato per domande su entrambi, ma non sarà utile per nessuno dei due.

Il chunking a dimensione fissa suddivide il testo in chunk contenenti esattamente N caratteri o N token, indipendentemente dai confini di frasi o paragrafi. È la strategia più semplice e rapida da implementare. Il principale svantaggio è che spesso taglia le frasi a metà, creando chunk che iniziano o terminano a metà di un ragionamento. È accettabile per testi densi e dalla formattazione uniforme, come i dump di esportazione dei database, ma produce una qualità di recupero scarsa per la prosa narrativa o la documentazione tecnica.

Il principale miglioramento al chunking a dimensione fissa è la sovrapposizione: ogni chunk condivide N caratteri con quello precedente. In questo modo, le informazioni vicine al confine di un chunk compaiono in entrambi i chunk adiacenti. Con una sovrapposizione di 50-100 token, una frase che attraversa un confine sarà acquisita integralmente in almeno uno dei due chunk. Una sovrapposizione maggiore migliora la copertura, ma aumenta le dimensioni dell'indice e la ridondanza dei contenuti nei risultati del recupero.

Il chunking sui confini delle frasi utilizza librerie NLP come nltk o spacy per rilevare la fine delle frasi prima della suddivisione. In questo modo nessuna frase viene tagliata a metà. Si accumulano le frasi finché l'aggiunta della successiva non supera la dimensione obiettivo, quindi si inizia un nuovo chunk. Il risultato consiste in chunk che contengono sempre pensieri completi, con una qualità degli embedding nettamente superiore rispetto alla suddivisione per numero fisso di caratteri.

La suddivisione ricorsiva per caratteri è la strategia più utilizzata nei sistemi RAG di produzione. Prova una gerarchia di separatori nell'ordine: prima le interruzioni di paragrafo (\n\n), poi le nuove righe (\n), quindi i punti che terminano le frasi, gli spazi e infine i singoli caratteri. Divide il testo al confine significativo più ampio che mantenga il chunk al di sotto della dimensione obiettivo, ottenendo chunk che rispettano il più possibile la struttura del documento.

Il conteggio dei caratteri è un'approssimazione imprecisa del conteggio dei token. Un chunk di 1000 caratteri può corrispondere a 200 o 400 token, a seconda della lunghezza delle parole e della lingua. Per un controllo preciso, suddivida il testo in base al conteggio dei token usando tiktoken. Questo è importante per adattare i chunk alla finestra di contesto del modello e stimare accuratamente i costi. TokenTextSplitter di LangChain integra tiktoken per il chunking basato sui token.

La dimensione dei chunk è un iperparametro fondamentale. I chunk piccoli (100-200 token) sono precisi: contengono informazioni fortemente focalizzate che vengono incorporate bene. Tuttavia, perdono il contesto circostante, quindi l'LLM potrebbe non disporre di informazioni sufficienti per rispondere. I chunk grandi (500-1000 token) forniscono più contesto, ma i loro embedding fanno una media su un argomento più ampio, rendendoli più difficili da recuperare per query specifiche. La maggior parte dei sistemi di produzione utilizza 256-512 token, verificando empiricamente i risultati sui propri dati.

Un potente miglioramento consiste nelle intestazioni contestuali dei chunk: anteponga il titolo del documento e l'intestazione della sezione al testo di ogni chunk prima di creare l'embedding. In questo modo l'embedding acquisisce non solo il contenuto del chunk, ma anche la sua posizione nel documento. Un chunk come Vantaggi e politica delle ferie: i dipendenti maturano 15 giorni all'anno... viene recuperato con molta più precisione per le domande sulla politica delle ferie rispetto allo stesso testo privo dell'intestazione.

Nessuna strategia di chunking è universalmente migliore delle altre. Crei una valutazione rapida: scelga 20 domande di cui conosce le risposte, esegua il recupero con ogni strategia di chunking e misuri la frequenza con cui il chunk corretto si trova tra i primi 5 risultati (hit rate@5). La configurazione richiede un'ora e permette di risparmiare settimane di tentativi. Spesso scoprirà che il formato specifico dei suoi documenti (prosa legale densa rispetto a documentazione tecnica strutturata) favorisce nettamente una strategia rispetto alle altre.

Alcuni tipi di documenti richiedono un chunking specifico. I file di codice dovrebbero essere suddivisi in base ai confini di funzioni o classi, non in base al numero di caratteri. I file Markdown dovrebbero essere suddivisi in corrispondenza delle intestazioni, in modo che ogni chunk corrisponda a una sezione. Le tabelle dovrebbero essere mantenute integre in un unico chunk (suddividerle a metà renderebbe il contenuto incomprensibile). Pianifichi la strategia di chunking in base ai tipi di documenti presenti nel corpus, invece di applicare un unico splitter a tutti i casi.

Ogni chunk necessita di un ID stabile e univoco derivato dal documento di origine e dalla posizione. Utilizzi questo ID per aggiornare chunk specifici quando i documenti cambiano, senza dover indicizzare nuovamente l'intero corpus. Un hash deterministico del percorso di origine più l'indice del chunk funziona bene. Registri inoltre la posizione del chunk nei metadati (chunk 3 di 12 del documento X): questo aiuta a ricomporre sezioni complete quando vengono recuperati più chunk adiacenti.

Verifichi la sua comprensione dei concetti di AI Engineering trattati in questa lezione.

In questa lezione ha imparato che: il chunking a dimensione fissa è semplice, ma taglia le frasi a metà; il chunking sui confini delle frasi preserva i pensieri completi; la suddivisione ricorsiva per caratteri rispetta la struttura del documento ed è la scelta più comune in produzione; e le tecniche avanzate includono la suddivisione basata sui token, le intestazioni contestuali, gli splitter specifici per Markdown e codice e gli ID stabili dei chunk per gli aggiornamenti incrementali. Prossimamente creeremo gli embedding di questi chunk e li memorizzeremo in un database vettoriale.