Upstreams zwischenspeichern und begrenzen
Schützen Sie Backends vor unkontrollierten Modellaufrufen.
Upstreams zwischenspeichern und begrenzen ist eine kostenlose MCP Academy-Lektion auf CoddyKit. Dies ist Lektion 4 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des MCP Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der MCP Academy-Kurs umfasst insgesamt 4 Lektionen.
Modelle können Backends überlasten
Ein eifriges Modell kann ein Tool immer wieder aufrufen. Ohne Schutzmaßnahmen kann es die dahinterliegende Datenbank oder API überlasten. ⚠️
Wiederholte Lesevorgänge zwischenspeichern
Ein Cache speichert kürzlich abgerufene Ergebnisse, sodass eine identische Anfrage sofort beantwortet wird, statt den Upstream erneut aufzurufen.
Den Cache anhand der Eingaben schlüsseln
Erstellen Sie den Cache-Schlüssel aus den Tool-Argumenten, damit dieselbe Stadt oder ID die gespeicherte Antwort wiederverwendet und neue Eingaben aktuelle Daten abrufen.
key = ("weather", city)
if key in cache:
return cache[key]Einträgen eine TTL geben
Setzen Sie eine Gültigkeitsdauer, damit zwischengespeicherte Daten ablaufen. Veraltete Antworten werden aktualisiert, sodass die Ergebnisse schnell und dennoch einigermaßen aktuell bleiben.
Nur sichere Lesevorgänge cachen
Speichern Sie idempotente Lesevorgänge zwischen, niemals Aktionen mit Seiteneffekten. Eine zwischengespeicherte Schreibaktion sollte nicht stillschweigend eine echte Änderung verhindern.
Die Aufrufe ratebegrenzen
Eine Ratenbegrenzung legt fest, wie oft ein Tool ausgeführt werden darf, damit ein außer Kontrolle geratenes Modell nicht in kurzer Zeit Tausende Anfragen sendet.
Die Idee des Token-Buckets
Ein gängiges Verfahren ist der Token-Bucket: Jeder Aufruf verbraucht ein Token, im Laufe der Zeit werden Tokens nachgefüllt, und ein leerer Bucket bedeutet Warten.
Upstream-Limits beachten
Stimmen Sie Ihre Begrenzung auf das API-Kontingent ab. Wenn Sie unter dem Kontingent bleiben, vermeiden Sie 429-Antworten und verhindern, dass Ihr Zugriff gedrosselt wird.
Bei 429 zurückweichen
Wenn ein Upstream mit 429 Too Many Requests antwortet, warten Sie und versuchen Sie es später mit Backoff erneut, statt noch mehr Anfragen zu senden.
Die Parallelität begrenzen
Ein Semaphor begrenzt, wie viele Aufrufe gleichzeitig das Backend erreichen. So werden Spitzen geglättet und der Upstream nicht überlastet.
sem = asyncio.Semaphore(5)
async with sem:
...Eine klare Limitmeldung zurückgeben
Wenn Sie drosseln, teilen Sie dem Modell klar mit, dass es ratebegrenzt wurde, damit es warten oder einen anderen Ansatz versuchen kann.
Kurzer Check
Welche Art von Ergebnis kann sicher zwischengespeichert werden?
Rückblick: Caching und Begrenzung
Sie haben Upstreams mit einem Cache, Ratenbegrenzungen und Backoff geschützt und Backends vor unkontrollierten Modellaufrufen bewahrt. 🎯
Lerne Python mit einem KI-Tutor — kostenlos
Schreibe und führe echten Code in deinem Browser aus, bekomme sofortige Hilfe von einem 24/7 KI-Tutor und setze dein Lernen im Web oder in der App fort.
- Kurse
- 30
- Lektionen
- 120
Häufig gestellte Fragen
Ist die Lektion „Upstreams zwischenspeichern und begrenzen“ kostenlos?
Ja — der vollständige Text von „Upstreams zwischenspeichern und begrenzen“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des MCP Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der MCP Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Upstreams zwischenspeichern und begrenzen“?
Schützen Sie Backends vor unkontrollierten Modellaufrufen. Du übst MCP Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um MCP Academy zu starten?
Keine Vorkenntnisse erforderlich. MCP Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 4 von 4.
Wie lange dauert die Lektion „Upstreams zwischenspeichern und begrenzen“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser MCP Academy-Lektion Code schreiben und ausführen?
Ja. Jede MCP Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- SQL-Abfragen sicher bereitstellen
- Eine REST-API als Tools verpacken
- Verbindungen während der Lebensdauer bündeln
- Upstreams zwischenspeichern und begrenzen