Contextcompressie

Dit is een lichte, robuuste techniek: beoordeel elke zin van elk fragment op overeenkomst met de zoekopdracht met een kleine cross-encoder of op basis van embeddingsovereenkomst, en verwijder zinnen met een lage score. Zo behoud je de zinnen met de meeste waarde en verwijder je opvulling.

Houd per fragment een minimale hoeveelheid context over, zodat je niet de omliggende zin verwijdert die een feit zijn betekenis geeft.

Een LLM kan elk fragment afzonderlijk comprimeren: geef de opdracht om alleen de delen van een passage te extraheren die relevant zijn voor de zoekopdracht, en laat het fragment letterlijk maar ingekort teruggeven, of een lege aanduiding als niets relevant is.

Dit is het patroon van LangChain ContextualCompressionRetriever. Het is nauwkeuriger dan filters op basis van embeddings, maar voegt per fragment een LLM-aanroep toe. Gebruik het daarom voor kritieke pijplijnen of verwerk meerdere fragmenten in één bundel.

Methoden zoals LLMLingua comprimeren op tokenniveau met een klein model dat inschat hoeveel informatie elk token bevat, en tokens met weinig informatie verwijdert. Ze kunnen hoge compressieverhoudingen bereiken en tegelijk het signaal behouden dat het grote model nodig heeft.

De keerzijde is dat de gecomprimeerde tekst minder leesbaar wordt voor mensen. Dit is daarom geschikt voor context die alleen door machines wordt gebruikt, niet voor weergave aan gebruikers.

Zoekopdrachtbewuste compressie behoudt wat relevant is voor deze zoekopdracht en levert de meest compacte context op, maar moet voor elk verzoek worden uitgevoerd. Zoekopdrachtagnostische compressie (vooraf berekende samenvattingen van fragmenten) is goedkoper tijdens een verzoek, maar kan zich niet richten op de specifieke vraag.

Een hybride aanpak slaat offline verkorte versies van fragmenten op en past online een lichte zoekopdrachtbewuste inkorting toe.

Agressieve compressie kan de ene clausule verwijderen die ertoe deed. Bouw daarom een recallcontrole in: controleer of de gecomprimeerde context het antwoord nog ondersteunt, of houd een terugvaloptie naar het ongecomprimeerde fragment achter de hand wanneer de compressor verdacht weinig teruggeeft.

Laat compressie een fragment nooit volledig leegmaken wanneer de herordener het als zeer relevant heeft beoordeeld. Dat wijst op een fout in de compressor, niet op irrelevantie.

Bij compressie moet de bronvermelding intact blijven. Voorzie elk behouden tekstgedeelte van de ID van het fragment en het document, zodat de generator ernaar kan verwijzen. Als je de metagegevens wegcomprimeert, verlies je de controleerbaarheid en de mogelijkheid om hallucinaties te detecteren.

Geef ID's als gestructureerde velden door de hele pijplijn door, nooit als vrije tekst die door compressie kan worden verwijderd.

Dankzij compressie kun je meer kandidaten ophalen voor recall en toch de uiteindelijke prompt klein houden. Stel een tokenbudget in voor het contextvenster en vul dat hebzuchtig met de waardevolste gecomprimeerde tekstgedeelten totdat het budget is bereikt.

Zo ontkoppel je de hoeveelheid die je ophaalt van de hoeveelheid die je aan generatie besteedt. Dat is een belangrijke efficiëntieknop.

Houd drie getallen bij: de compressieverhouding (bespaarde tokens), de antwoordnauwkeurigheid (bleef de kwaliteit behouden?) en de getrouwheid (veranderde de compressor geen feiten?). Het doel is de hoogste verhouding waarbij de antwoordnauwkeurigheid niet verandert.

Test verschillende niveaus van compressie en kies het Pareto-punt dat aan je kostendoel voldoet zonder kwaliteitsverlies.

Van begin tot eind: haal breed op, herorden, comprimeer elk overgebleven fragment (extractief of op basis van een LLM) met behoud van de herkomst, voorkom te vergaande inkorting, vul het tokenbudget en genereer met bronverwijzingen.

Compressie is de laag die ophalen met hoge recall betaalbaar maakt en ervoor zorgt dat de generator zich richt op wat ertoe doet.

Belangrijkste punten:

• Compressie reduceert opgehaalde fragmenten tot inhoud die relevant is voor de zoekopdracht, en verlaagt kosten, latentie en het aantal afleiders.
• Geef bij feitelijke RAG met bronverwijzingen de voorkeur aan extractieve compressie (letterlijk en herleidbaar) boven abstractieve compressie; snoeien op tokenniveau is geschikt voor context die alleen door machines wordt gebruikt.
• Zoekopdrachtbewuste compressie levert de meest compacte context op, maar moet per verzoek worden uitgevoerd; combineer die voor efficiëntie met offline samenvattingen.
• Bescherm je tegen informatieverlies en behoud de herkomst van fragmenten en documenten voor bronverwijzingen.
• Gebruik compressie om breed op te halen en prompts toch klein te houden; stem de aanpak af op de maximale verhouding zonder verlies van antwoordnauwkeurigheid.