Timeout-Budgets und sanfte Verschlechterung

Ein Timeout-Budget ist die maximal verfügbare Gesamtzeit, in der eine Anfrage alle Phasen Ihrer Pipeline durchlaufen und abgeschlossen werden muss. Statt für jeden einzelnen API-Aufruf ein willkürliches Timeout festzulegen, definieren Sie ein End-to-End-Budget für den benutzerseitigen Vorgang und verteilen es auf Retrieval, LLM-Generierung und Nachbearbeitung. So antworten Sie stets innerhalb einer akzeptablen Zeit, selbst wenn einige Phasen langsam sind.

Eine typische RAG-Chat-Pipeline besteht aus drei Phasen: Retrieval, LLM-Generierung und Antwortformatierung. Weisen Sie jeder Phase abhängig von ihrer üblichen Dauer und der von Benutzern tolerierten Wartezeit ein Zeitfenster zu. Die verbleibende Reserve ist Ihr Degradationspuffer – wenn eine Phase ihre gesamte Zuteilung verbraucht, beginnen Sie in den nachfolgenden Phasen Abstriche zu machen, damit das Gesamtbudget eingehalten wird.

Verwenden Sie einen BudgetTracker, der die Startzeit erfasst und bei jedem Übergang zwischen Phasen das verbleibende Budget prüft. Überprüfen Sie vor dem Start einer Phase, ob noch ausreichend Budget vorhanden ist. Dadurch können nachgelagerte Phasen angepasst werden: Wenn ein Retrieval-Schritt 1200 ms seines Budgets von 1500 ms benötigt, bleiben nur 300 ms Reserve. Das sollte einen einfacheren LLM-Prompt auslösen oder den Re-Ranking-Schritt überspringen.

Graceful Degradation bedeutet, eine Antwort mit geringerer Qualität, die aber weiterhin nützlich ist, bereitzustellen, wenn die vollständige Pipeline nicht innerhalb des Budgets abgeschlossen werden kann, statt einen Fehler zurückzugeben. Beispiele sind: eine Antwort aus dem Cache zurückgeben, Re-Ranking überspringen, das Kontextfenster kürzen, ein schnelleres, aber weniger genaues Modell verwenden oder eine vorformulierte Fallback-Nachricht zurückgeben. Das Ziel ist immer, dem Benutzer etwas zu liefern statt gar nichts.

Prüfen Sie an jedem Entscheidungspunkt der Pipeline das verbleibende Budget und wählen Sie die passende Qualitätsstufe. Der folgende Code wählt anhand des verbleibenden Budgets die Retrieval-Tiefe und das Modell aus. Dadurch erhalten Benutzer unter normaler Auslastung die bestmögliche Qualität, während sie bei hoher Latenz weiterhin eine nützliche Antwort statt eines Timeout-Fehlers bekommen.

Legen Sie für jeden externen API-Aufruf immer ein explizites Timeout fest. Das OpenAI Python SDK akzeptiert einen Parameter timeout in Sekunden. Legen Sie ihn etwas kürzer als das verbleibende Budget fest, damit Sie Zeit haben, die Ausnahme zu behandeln und vor Ablauf der Gesamtdauer gegebenenfalls eine kontrollierte Verschlechterung einzuleiten. Verlassen Sie sich niemals auf das Standard-Timeout des SDK – für benutzerseitige Anfragen kann es zu lang sein.

Beim Streaming können Sie Teilantworten zurückgeben, die vor Ablauf des Budgets erzeugt wurden. Wenn während des Streamings ein Timeout auftritt, lesen Sie keine neuen Tokens mehr, fügen Sie eine Auslassung oder eine kurze Fortsetzungsaufforderung an und schließen Sie den Stream. Der Benutzer sieht eine sauber abgeschnittene Antwort statt eines leeren Fehlers. Das ist nur beim Streaming möglich – nicht gestreamte Aufrufe sind ganz oder gar nicht erfolgreich.

Ein semantischer Cache eignet sich hervorragend als Degradationsschicht, da er nahezu keine Latenz verursacht. Fragen Sie vor dem Aufruf des LLM Ihren semantischen Cache nach ähnlichen früheren Fragen ab. Wenn ein Cache-Treffer mit hoher Ähnlichkeit (über 0,92 Cosine Similarity) gefunden wird, geben Sie die zwischengespeicherte Antwort sofort zurück. Dadurch werden Antworten beschleunigt und steht sofort ein Fallback zur Verfügung, wenn das LLM langsam oder nicht verfügbar ist.

Protokollieren Sie jedes Herabstufen Ihrer Pipeline auf eine niedrigere Qualitätsstufe als strukturiertes Ereignis. Erfassen Sie die erreichte Degradationsstufe, das in jeder Phase verbleibende Budget und die endgültige Latenz. Die Analyse dieser Protokolle zeigt, wie oft die einzelnen Degradationsstufen ausgelöst werden. So können Sie Budgets abstimmen, Phasen erkennen, die regelmäßig ihr Budget überschreiten, und Investitionen in die Infrastruktur begründen.

Wenn Sie eine degradierte Antwort bereitstellen, weisen Sie den Benutzer darauf hin, dass die Qualität geringer als üblich sein kann. Zeigen Sie in einer Chat-Oberfläche beispielsweise einen dezenten Hinweis wie „Schnellantwortmodus – einige Details sind möglicherweise eingeschränkt.“ Fügen Sie bei einer Extraction API ein Feld degraded: true in die JSON-Antwort ein, damit nachgelagerte Verbraucher degradierte Ergebnisse anders behandeln können. Transparenz bewahrt das Vertrauen der Benutzer, auch während eines Ausfalls.

Die anfänglichen Budgetzuteilungen sind Schätzungen. Analysieren Sie nach einer Woche im Produktivbetrieb mithilfe Ihrer Tracing-Daten die Verteilung der für die einzelnen Phasen benötigten Zeit. Wenn das Retrieval dauerhaft 800 ms statt der eingeplanten 1500 ms benötigt, verteilen Sie diese Reserve auf die LLM-Phase um und ermöglichen Sie mehr Ausgabetokens oder ein größeres Kontextfenster. Die Abstimmung des Budgets ist eine fortlaufende Betriebsaufgabe und keine einmalige Konfiguration.

In dieser Lektion haben Sie gelernt: Timeout-Budgets verteilen die verfügbare Zeit auf die Pipeline-Phasen, damit Sie stets innerhalb einer akzeptablen Frist antworten, Degradationsstufen liefern bei erschöpfter Zeit schrittweise Antworten geringerer Qualität statt Fehlern, und das Protokollieren von Degradationsereignissen hilft Ihnen, dauerhafte Engpässe zu erkennen und zu beheben. Als Nächstes untersuchen wir das Muster LLM-as-judge zur automatisierten Qualitätsbewertung.