Strategien zur Einhaltung von Kontextgrenzen

Jede in einer Chat-Konversation ausgetauschte Nachricht erhöht die Token-Anzahl des nächsten API-Aufrufs. In einer langen Kundensupport-Sitzung oder einer mehrstündigen Coding-Sitzung kann der angesammelte Konversationsverlauf leicht 20.000–50.000 Tokens überschreiten. All diese Tokens müssen Sie bei jedem einzelnen Durchlauf an die API senden und bezahlen somit wiederholt für bereits verarbeitete Tokens.

Ohne eine Strategie zur Kontextverwaltung erreicht Ihre Anwendung entweder das Kontextlimit und stürzt ab, oder Sie kürzen Nachrichten unbemerkt, sodass das Modell den Überblick über wichtigen früheren Kontext verliert. Jede LLM-Anwendung im Produktivbetrieb benötigt eine klar definierte Strategie für das Wachstum des Kontexts.

Die einfachste Strategie besteht darin, nur die letzten N Nachrichten im Kontext zu behalten und ältere Nachrichten zu verwerfen. Dies wird als Schiebefenster bezeichnet. Die Implementierung ist einfach, die Kosten sind vorhersehbar, und für viele Anwendungsfälle reicht diese Strategie aus, wenn der aktuelle Kontext wichtiger ist als ältere Austausche.

Beim Token-bewussten Kürzen werden Nachrichten nicht anhand ihrer Anzahl gekürzt. Stattdessen werden Nachrichten entfernt, bis die Gesamtzahl der Tokens unter einem Schwellenwert liegt. Das ist präziser, weil Nachrichten sehr unterschiedlich lang sein können: Eine Begrenzung der Nachrichtenanzahl kann beispielsweise 10 kurze oder 3 sehr lange Nachrichten enthalten, die jeweils ganz unterschiedliche Token-Kosten verursachen.

Zusammenfassungen komprimieren ältere Gesprächsabschnitte zu einer kurzen Zusammenfassung und bewahren dabei die wichtigsten Fakten, Entscheidungen und vom Nutzer erwähnten Kontext. Diese Strategie ist ausgefeilter als ein Schiebefenster, weil sie den Kern früherer Austausche erhält, anstatt sie einfach zu verwerfen.

Das Muster funktioniert folgendermaßen: Wenn die Konversation einen Schwellenwert überschreitet, senden Sie die ältesten N Gesprächsabschnitte mit dem Prompt „Summarize this conversation so far“ an das Modell, ersetzen Sie diese Abschnitte durch eine einzelne Systemnachricht mit der Zusammenfassung und setzen Sie die Konversation mit dem neuen komprimierten Verlauf fort.

Der Entitätenspeicher extrahiert wichtige, in der Konversation erwähnte Fakten und hält sie strukturiert fest – etwa Nutzerpräferenzen, Namen, Projektdetails und getroffene Entscheidungen –, anstatt den rohen Nachrichtenverlauf zu speichern. Vor jedem Durchlauf werden die gespeicherten Fakten in den System-Prompt eingefügt.

Das ist hinsichtlich der Token-Anzahl effizienter als der vollständige Verlauf, weil Sie nur semantisch wichtige Informationen einbeziehen und nicht jedes Wort jedes Gesprächsabschnitts. Ein Entitätenspeicher eignet sich besonders gut für langfristig laufende Assistenten, bei denen Nutzer auf Präferenzen und Fakten zurückgreifen, die bereits viel früher in der Konversation festgelegt wurden.

Wählen Sie Ihre Strategie anhand der Eigenschaften Ihrer Anwendung:

• Schiebefenster: Einfache Chat-Apps, bei denen nur der aktuelle Kontext relevant ist und Nutzer nicht auf ältere Austausche zurückgreifen. Am günstigsten zu implementieren.
• Token-bewusstes Kürzen: Jede Anwendung im Produktivbetrieb, in der die Nachrichtenlängen stark variieren. Immer besser als das Kürzen anhand der Nachrichtenanzahl.
• Zusammenfassungen: Langfristig laufende Assistenten, Kundensupport-Sitzungen und Bots für Projektmanagement. Nutzer erwarten, dass sich der Assistent wichtige Fakten aus Stunden zurückliegenden Austauschen merkt.
• Entitätenspeicher: Persönliche Assistenten, Chatbots mit Berücksichtigung von Nutzerpräferenzen und Tutorsysteme, bei denen das Nutzerprofil während der gesamten Sitzung relevant ist.

Diese Strategien lassen sich auch kombinieren: Verwenden Sie einen Entitätenspeicher für grundlegende Fakten und ein Schiebefenster für die aktuelle Konversation.

Bei wissensintensiven Anwendungen besteht die beste Strategie zur Kontextverwaltung darin, Dokumente gar nicht erst in den Kontext aufzunehmen. Verwenden Sie stattdessen RAG (Retrieval-Augmented Generation), um nur die spezifischen Ausschnitte abzurufen, die für die aktuelle Anfrage relevant sind. Dadurch bleibt der Kontext fokussiert, die Kosten sinken, und häufig entstehen bessere Antworten, als wenn ein vollständiges Dokument eingefügt wird.

Die zentrale Erkenntnis ist, dass lange Kontextfenster zwar das Problem Passt es hinein? lösen, nicht aber das Problem Wird das Modell es sinnvoll nutzen?. Präziser Abruf löst beide Probleme, indem dem Modell nur die Informationen bereitgestellt werden, die es für die aktuelle Frage tatsächlich benötigt.

Trotz aller Vorsichtsmaßnahmen können im Produktivbetrieb Fehler aufgrund des Kontextlimits auftreten, insbesondere bei unerwartet langen, von Nutzern erstellten Inhalten. Behandeln Sie den Fehler context_length_exceeded immer explizit, statt ihn als unbehandelte Ausnahme bis zum Nutzer durchzureichen.

In einer echten Anwendung schließen und öffnen Nutzer die App. Der Server wird neu gestartet. Die Kontextverwaltung muss daher die Persistenz über Sitzungen hinweg berücksichtigen, nicht nur innerhalb einer einzelnen Sitzung. Das bedeutet, den Konversationsverlauf in einer Datenbank zu speichern und zu Beginn jeder Sitzung zu laden.

Ein sinnvoller Ansatz: Speichern Sie den vollständigen Rohverlauf zu Prüfungs- und Fine-Tuning-Zwecken in PostgreSQL. Wenden Sie beim Laden des Kontexts für einen neuen API-Aufruf jedoch Ihre Strategie zum Zusammenfassen oder Kürzen an, damit der Verlauf in das Token-Budget passt. So gehen niemals Daten verloren, während Sie zugleich nicht bei jeder Anfrage für den vollständigen Verlauf bezahlen.

Protokollieren Sie die Token-Anzahl jedes API-Aufrufs und verfolgen Sie sie im Zeitverlauf anhand der Konversations-ID. Eine gesunde Konversation sollte zunächst allmählich wachsen und anschließend ein Plateau erreichen, sobald Zusammenfassungen eingesetzt werden. Eine Konversation, die ungebremst bis zum Kontextlimit wächst, deutet darauf hin, dass Ihre Logik zum Kürzen nicht korrekt funktioniert.

Überwachen Sie außerdem die durchschnittliche Kontextlänge über alle Konversationen hinweg. Steigt sie im Laufe der Zeit an, kann das darauf hindeuten, dass Ihr Standard-System-Prompt durch zusätzliche Funktionen wächst, Nutzer längere Eingaben einfügen oder RAG zunehmend größere Textabschnitte zurückgibt. Für jeden dieser Fälle ist eine andere Lösung erforderlich.

Ein robustes System zur Kontextverwaltung im Produktivbetrieb kombiniert mehrere Strategien in mehreren Schichten:

1. Vor dem Zusammenstellen des Kontexts: Token-Budget prüfen und protokollieren
2. Entitäten extrahieren: Einen strukturierten Speicherblock mit wichtigen Fakten einfügen
3. Aktuellen Verlauf hinzufügen: Die letzten 6–10 Nachrichten wörtlich einbeziehen
4. Älteren Verlauf zusammenfassen: Wenn älterer Verlauf vorhanden ist, eine fortlaufende Zusammenfassung einfügen
5. Schutzprüfung: Wenn das Budget weiterhin überschritten wird, die ältesten wörtlich übernommenen Nachrichten kürzen

Dieser mehrschichtige Ansatz bewahrt die wichtigsten Informationen (Entitätenspeicher und aktuellen Kontext) und reduziert den älteren Verlauf kontrolliert zunächst auf Zusammenfassungen und erst als letzten Ausweg auf eine Kürzung.

Testen Sie Ihr Verständnis der Konzepte aus dem Bereich AI Engineering aus dieser Lektion.

In dieser Lektion haben Sie Folgendes gelernt: Sliding Windows und tokenbewusstes Kürzen sind einfache Strategien, bei denen alter Kontext verworfen wird, um innerhalb der Limits zu bleiben, Zusammenfassungen komprimieren alte Gesprächsbeiträge in eine kompakte Darstellung, die wichtige Fakten bewahrt, und der Entitätsspeicher extrahiert strukturierte Fakten für einen tokensparsamen Langzeitspeicher innerhalb einer Unterhaltung. Als Nächstes sehen wir uns an, wie Sie LLMs mithilfe des JSON-Modus und strukturierter Ausgaben dazu bringen, zuverlässiges JSON zurückzugeben.