Strategier for oppdeling: fast størrelse, setninger eller rekursivt

Oppdeling i tekstbiter er prosessen med å dele innlastede dokumenter i mindre deler som får plass i LLM-ens kontekstvindu, og som kan indekseres og hentes individuelt. Måten De deler opp teksten på, påvirker kvaliteten på søket mer enn nesten alle andre faktorer. Hvis en tekstbit deler et svar mellom to deler, er ingen av delene alene tilstrekkelig til å besvare spørsmålet. En tekstbit som blander to urelaterte emner, blir hentet ved spørsmål om begge, men er nyttig for ingen av dem.

Oppdeling i tekstbiter med fast størrelse deler tekst i biter med nøyaktig N tegn eller N token, uavhengig av setnings- eller avsnittsgrenser. Dette er den enkleste strategien og er rask å implementere. Den største ulempen er at den ofte deler setninger i to, slik at tekstbiter begynner eller slutter midt i en tanke. Dette kan aksepteres for tett, ensartet formatert tekst, for eksempel databaseeksporter, men gir dårlig søkekvalitet for fortellende prosa eller teknisk dokumentasjon.

Den viktigste forbedringen av oppdeling i tekstbiter med fast størrelse er overlapp: hver tekstbit deler N tegn med den forrige tekstbiten. Dette sikrer at informasjon nær grensen mellom tekstbiter finnes i begge nabotekstbitene. Med 50–100 token overlapp vil en setning som krysser en grense, være fullstendig med i minst én av de to tekstbitene. Større overlapp gir bedre dekning, men også større indeks og mer overflødig innhold i søkeresultatene.

Oppdeling ved setningsgrenser bruker NLP-biblioteker som nltk eller spacy til å finne slutten på setninger før teksten deles opp. Dette garanterer at ingen setning deles i to. Setninger samles til den neste setningen ville overskredet mål­størrelsen, og deretter startes en ny tekstbit. Resultatet er tekstbiter som alltid inneholder hele tanker, noe som gir betydelig bedre embedding-kvalitet enn oppdeling etter et fast antall tegn.

Rekursiv tegnoppdeling er den mest brukte strategien i RAG-systemer i produksjon. Den prøver et hierarki av skilletegn i rekkefølge: først avsnittsbrudd (\n\n), deretter linjeskift (\n), så punktum som avslutter setninger, mellomrom og til slutt enkelttegn. Den deler ved den største meningsfulle grensen som holder tekstbiten under mål­størrelsen, og resultatet er tekstbiter som respekterer dokumentstrukturen i størst mulig grad.

Antall tegn er en upresis tilnærming til antall token. En tekstbit på 1000 tegn kan være på 200 eller 400 token, avhengig av ordlengde og språk. For presis kontroll deler De opp etter token-antall ved hjelp av tiktoken. Dette er viktig for å tilpasse tekstbiter til modellens kontekstvindu og for nøyaktig kostnadsberegning. LangChains TokenTextSplitter pakker inn tiktoken for token-bevisst oppdeling.

Størrelsen på tekstbitene er en kritisk hyperparameter. Små tekstbiter (100–200 token) er presise – de inneholder tett fokusert informasjon som egner seg godt for embedding. Men de mister omkringliggende kontekst, slik at LLM-en kanskje ikke har nok informasjon til å svare. Store tekstbiter (500–1000 token) gir mer kontekst, men embeddingene deres blir et gjennomsnitt over et bredere emne, noe som gjør dem vanskeligere å hente ved spesifikke spørsmål. De fleste produksjonssystemer bruker 256–512 token og tester empirisk på egne data.

En kraftig forbedring er kontekstuelle tekstbitoverskrifter: legg dokumenttittelen og seksjonsoverskriften foran teksten i hver tekstbit før embedding. Da fanger embedding-en ikke bare opp innholdet i tekstbiten, men også hvor den kom fra i dokumentet. En tekstbit som lyder Fordeler og ferieordning: Ansatte opptjener 15 dager årlig ..., hentes langt mer presist ved spørsmål om ferieordningen enn den samme teksten uten overskriften.

Ingen strategi for oppdeling i tekstbiter er best i alle tilfeller. Lag en rask evaluering: Ta 20 spørsmål som De kjenner svarene på, kjør søk med hver oppdelingsstrategi, og mål hvor ofte den riktige tekstbiten rangeres blant de fem beste resultatene (treffrate@5). Dette tar en time å sette opp og sparer Dem for flere uker med gjetting. De vil ofte oppdage at det bestemte dokumentformatet Deres (tett juridisk prosa kontra strukturerte tekniske dokumenter) klart favoriserer én strategi fremfor de andre.

Noen dokumenttyper trenger spesialtilpasset oppdeling. kodefiler bør deles opp etter funksjons- eller klassegrenser, ikke etter antall tegn. Markdown-filer bør deles ved overskriftsgrenser, slik at hver tekstbit tilsvarer én seksjon. Tabeller bør holdes samlet som én tekstbit (hvis de deles midt i tabellen, blir innholdet uforståelig). Planlegg strategien for oppdeling basert på dokumenttypene i korpuset, i stedet for å bruke én løsning for alle.

Hver tekstbit trenger en stabil, unik ID som er avledet fra kildedokumentet og plasseringen. Bruk denne ID-en til å oppdatere bestemte tekstbiter når dokumenter endres, uten å indeksere hele korpuset på nytt. En deterministisk hash av kildebanen og tekstbitindeksen fungerer godt. Registrer også tekstbitens plassering i metadataene – for eksempel tekstbit 3 av 12 fra dokument X. Dette gjør det enklere å sette sammen hele seksjoner igjen når flere tekstbiter etter hverandre blir hentet sammen.

I denne leksjonen har De lært at oppdeling i tekstbiter med fast størrelse er enkelt, men deler setninger i to, at oppdeling ved setningsgrenser bevarer hele tanker, at rekursiv tegnoppdeling respekterer dokumentstrukturen og er det vanligste valget i produksjon, samt om avanserte teknikker, blant annet token-bevisst oppdeling, kontekstuelle overskrifter, spesialtilpassede oppdelere for Markdown og kode og stabile ID-er for trinnvise oppdateringer. Neste tema er hvordan De lager embedding-vektorer av disse tekstbitene og lagrer dem i en vektordatabase.