Textdelare och embeddings

När ni arbetar med stora dokument uppstår ofta problem om ni skickar dem direkt till en Large Language Model (LLM). LLM:er har strikta gränser för hur mycket indata de kan ta emot, så kallade kontextfönster.

I den här lektionen lär ni er att förbereda stora texter för LLM:er med hjälp av två viktiga tekniker: textuppdelning och inbäddningar. Dessa är grundläggande för att bygga avancerade AI-agenter.

Föreställ er att ni har ett PDF-dokument på 100 sidor. Om ni försöker ställa en fråga till en LLM om dokumentet kan ni inte bara skicka hela dokumentet.

• Begränsningar i kontextfönstret: LLM:er kan bara bearbeta en viss mängd text åt gången (till exempel 4 000 till 128 000 token).
• Kostnad: Längre indata innebär högre API-kostnader.
• Relevans: Om kontextfönstret fylls med irrelevant information kan LLM:en "glömma" de viktiga delarna.

Textuppdelning löser detta genom att dela upp dokument i mindre, hanterbara delar.

LangChain tillhandahåller olika textuppdelare för att effektivt dela upp dokument. Målet är att hålla semantiskt relaterade textdelar tillsammans och samtidigt respektera storleksgränser.

I stället för att bara klippa texten efter godtyckliga teckenantal försöker smarta uppdelare dela texten vid logiska gränser, till exempel stycken eller meningar.

En vanlig och mångsidig uppdelare är RecursiveCharacterTextSplitter.

RecursiveCharacterTextSplitter är ett kraftfullt verktyg. Det försöker dela upp text med hjälp av en lista med tecken och testar dem i tur och ordning tills delarna är tillräckligt små.

• Först försöker den dela vid \n\n (dubbla radbrytningar för stycken).
• Om delarna fortfarande är för stora försöker den med \n (enkel radbrytning för rader).
• Därefter används blanksteg och slutligen enskilda tecken.

Detta rekursiva tillvägagångssätt hjälper till att bevara den semantiska sammanhållningen.

Nu ska vi se hur RecursiveCharacterTextSplitter fungerar. Vi delar upp en kort berättelse i delar.

Två viktiga parametrar för textuppdelning är chunk_size och chunk_overlap:

• Delstorlek: Det maximala antalet tecken (eller token, beroende på uppdelaren) i varje del. Välj en storlek som ryms inom LLM:ens kontextfönster.
• Överlappning mellan delar: Anger hur många tecken (eller token) som ska överlappa mellan på varandra följande delar. Överlappning hjälper till att bevara kontexten mellan uppdelningarna, så att viktig information inte går förlorad vid delarnas gränser.

Att hitta rätt balans för dessa parametrar är avgörande för effektiv informationshämtning.

Nu ändrar vi vårt tidigare exempel så att det använder chunk_overlap. Lägg märke till hur delar av texten upprepas i intilliggande delar, vilket skapar kontinuitet.

När ni har delat upp dokumenten, hur hittar ni då de delar som är mest relevanta för en användares fråga? Det är här textinbäddningar kommer in i bilden.

• En inbäddning är en numerisk representation (en vektor) av text.
• Texter med liknande betydelse har inbäddningar som ligger "närmare" varandra i ett högdimensionellt rum.
• Det gör att vi kan utföra semantisk sökning: hitta delar som begreppsmässigt liknar en fråga, inte bara delar som innehåller samma nyckelord.

Inbäddningar är grunden för Retrieval Augmented Generation (RAG).

LangChain gör det enkelt att skapa inbäddningar med hjälp av olika modeller. Ni arbetar med ett Embeddings-objekt, som döljer detaljerna kring den underliggande modellen.

Populära inbäddningsmodeller inkluderar modeller från OpenAI, Hugging Face och Cohere samt många alternativ med öppen källkod, till exempel `all-MiniLM-L6-v2`.

Vanligtvis initierar ni en inbäddningsmodell och anropar sedan dess embed_query() för en enskild text eller embed_documents() för en lista med delar.

Så här skapar ni en inbäddning för en enkel text med OpenAI:s inbäddningsmodell. Kom ihåg att ni behöver en OpenAI API-nyckel för att detta ska fungera.

Ni har lärt er två grundläggande tekniker för att hantera stora dokument i AI-agenter:

• Textuppdelning: Att dela upp stora texter i mindre, hanterbara delar med verktyg som RecursiveCharacterTextSplitter, styrt av chunk_size och chunk_overlap.
• Inbäddningar: Att omvandla textdelar till numeriska vektorer med hjälp av inbäddningsmodeller (till exempel OpenAIEmbeddings) för att möjliggöra semantisk likhetssökning.

Dessa tekniker är avgörande för att bygga effektiva system för Retrieval Augmented Generation (RAG), så att era agenter intelligent kan hitta och använda relevant information från omfattande kunskapsbaser.