Kontextkomprimierung

Abgerufene Chunks sind verrauscht: Ein relevanter Chunk kann größtenteils aus Standardtext bestehen und nur einen einzigen entscheidenden Satz enthalten. Kontextkomprimierung kürzt den abgerufenen Text auf das, was die Query tatsächlich beantwortet, bevor er den Generator erreicht.

Die Vorteile verstärken sich gegenseitig: geringere Token-Kosten, kürzere Latenz, weniger Ablenkungen und eine Entlastung vom Lost-in-the-Middle-Effekt, weil der vom Modell zu verarbeitende Kontext kleiner wird.

Extraktive Komprimierung wählt wörtliche Textstellen (Sätze, Passagen) aus, die für die Query relevant sind, und bewahrt dabei den exakten Wortlaut sowie die Provenienz. Abstraktive Komprimierung formuliert Inhalte um oder fasst sie zusammen. Dadurch wird eine stärkere Komprimierung erreicht, allerdings mit dem Risiko von Informationsverlust und eingeführten Fehlern.

Bevorzugen Sie bei faktischem RAG mit Zitaten die extraktive Variante, damit sich Aussagen zur Quelle zurückverfolgen lassen. Verwenden Sie die abstraktive Variante nur, wenn sich ihre Faktentreue überprüfen lässt.

Eine leichtgewichtige, robuste Technik: Bewerten Sie jeden Satz jedes Chunks anhand seiner Übereinstimmung mit der Query, entweder mit einem kleinen Cross-Encoder oder anhand von Embedding-Ähnlichkeit, und entfernen Sie Sätze mit niedrigen Scores. So bleiben die wertvollen Sätze erhalten, während Fülltext entfernt wird.

Behalten Sie pro Chunk einen Mindestkontext bei, damit nicht der umgebende Satz entfernt wird, der einer Tatsache ihre Bedeutung gibt.

Ein LLM kann jeden Chunk einzeln komprimieren: Geben Sie ihm die Anweisung, nur die für die Query relevanten Teile einer Passage zu extrahieren und entweder den Chunk wörtlich gekürzt oder eine leere Markierung zurückzugeben, wenn nichts relevant ist.

Dies ist das Muster des LangChain ContextualCompressionRetriever. Es ist genauer als Embedding-Filter, fügt aber pro Chunk einen LLM-Aufruf hinzu. Reservieren Sie es daher für Pipelines mit hohen Anforderungen oder bündeln Sie die Aufrufe.

Verfahren wie LLMLingua komprimieren auf Token-Ebene. Dabei wird ein kleines Modell verwendet, um die Informationsdichte von Tokens zu schätzen und Tokens mit geringem Informationsgehalt zu entfernen. So lassen sich hohe Komprimierungsraten erreichen, während das Signal erhalten bleibt, das das große Modell benötigt.

Der Nachteil: Der komprimierte Text wird weniger gut lesbar. Daher eignet sich dieses Verfahren für rein maschinell verarbeiteten Kontext, nicht für die Anzeige für Benutzer.

Query-abhängige Komprimierung behält das für diese Query Relevante und erzeugt den knappsten Kontext, muss aber für jede Anfrage ausgeführt werden. Query-unabhängige Komprimierung (vorab berechnete Chunk-Zusammenfassungen) ist zum Anfragezeitpunkt günstiger, kann sich aber nicht auf die konkrete Frage konzentrieren.

Bei einem hybriden Ansatz werden komprimierte Chunk-Versionen offline gespeichert und online leicht Query-abhängig gekürzt.

Aggressive Komprimierung kann genau die eine Klausel entfernen, auf die es ankommt. Sichern Sie sich mit einer Recall-Prüfung ab: Überprüfen Sie, ob der komprimierte Kontext die Antwort weiterhin logisch stützt, oder behalten Sie einen Fallback auf den unkomprimierten Chunk bei, wenn der Komprimierer verdächtig wenig zurückgibt.

Lassen Sie niemals zu, dass die Komprimierung einen Chunk auf einen leeren Inhalt reduziert, wenn der Re-Ranker ihn als hochrelevant bewertet hat. Das deutet auf einen Fehler des Komprimierers hin, nicht auf Irrelevanz.

Die Komprimierung muss die Quellenzuordnung erhalten. Kennzeichnen Sie jede beibehaltene Textstelle mit der ID ihres Chunks und Dokuments, damit der Generator sie zitieren kann. Wenn Sie die Metadaten wegkomprimieren, gehen die Überprüfbarkeit und die Möglichkeit verloren, Halluzinationen zu erkennen.

Führen Sie IDs als strukturierte Felder durch die Pipeline und niemals als Freitext, den die Komprimierung entfernen könnte.

Durch Komprimierung können Sie für mehr Recall mehr Kandidaten abrufen und den endgültigen Prompt trotzdem klein halten. Legen Sie ein Tokenbudget für das Kontextfenster fest und packen Sie die wertvollsten komprimierten Textstellen nach dem Greedy-Prinzip hinein, bis das Budget erreicht ist.

So entkoppeln Sie die abgerufene Menge von den Kosten für die Generierung – ein wichtiger Hebel für die Effizienz.

Verfolgen Sie drei Werte: das Komprimierungsverhältnis (eingesparte Tokens), die Antwortgenauigkeit (ist die Qualität erhalten geblieben?) und die Faktentreue (hat der Komprimierer Fakten unverändert gelassen?). Ziel ist das höchste Komprimierungsverhältnis, bei dem sich die Antwortgenauigkeit nicht verändert.

Variieren Sie die Aggressivität der Komprimierung und wählen Sie den Pareto-Punkt, der Ihr Kostenziel ohne Qualitätsverlust erfüllt.

Ende zu Ende: Rufen Sie breit ab, führen Sie ein Re-Ranking durch, komprimieren Sie jeden verbleibenden Chunk (extraktiv oder LLM-basiert) unter Wahrung der Provenienz, schützen Sie sich vor übermäßiger Kürzung, packen Sie die Inhalte in ein Tokenbudget und generieren Sie Antworten mit Zitaten.

Die Komprimierung ist die Schicht, die Retrieval mit hohem Recall bezahlbar macht und den Generator auf das Wesentliche konzentriert.

Wählen Sie den richtigen Komprimierungsansatz für ein faktisches RAG-System mit Zitaten.

Wichtigste Erkenntnisse:

• Komprimierung kürzt abgerufene Chunks auf Query-relevante Inhalte und senkt Kosten, Latenz sowie die Zahl der Ablenkungen.
• Bevorzugen Sie für faktisches RAG mit Zitaten die extraktive Variante (wörtlich, nachvollziehbar) gegenüber der abstraktiven Variante; Token-Level-Pruning eignet sich für rein maschinell verarbeiteten Kontext.
• Query-abhängige Komprimierung ist am präzisesten, muss aber pro Anfrage ausgeführt werden. Kombinieren Sie sie für mehr Effizienz mit offline erstellten Zusammenfassungen.
• Schützen Sie sich vor Informationsverlust und bewahren Sie die Provenienz von Chunk und Dokument für Zitate.
• Nutzen Sie Komprimierung, um breit abzurufen und Prompts trotzdem klein zu halten. Stimmen Sie sie auf den maximalen Komprimierungsgrad ab, ohne die Antwortgenauigkeit zu verringern.