Blue-Green- und Canary-Deployments für Agents
Rollen Sie neue Prompts und Modelle für 5 % des Traffics aus, beobachten Sie die Metriken und erhöhen Sie den Anteil schrittweise – niemals alles auf einmal.
Blue-Green- und Canary-Deployments für Agents ist eine kostenlose AI Agents-Lektion auf CoddyKit. Dies ist Lektion 4 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des AI Agents-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der AI Agents-Kurs umfasst insgesamt 4 Lektionen.
Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.
Agenten-Deployments sind anders
Deployments herkömmlichen Codes sind deterministisch — ein bestandener Unit-Test bedeutet, dass die Änderung sicher ist. Deployments von LLM-Agenten sind es NICHT — selbst bei identischem Code kann ein ausgetauschtes Prompt oder Modell die Qualität subtil verschlechtern.
Verwenden Sie Deployment-Strategien, die Regressionen frühzeitig erkennen.
Blue-Green-Deployments
Zwei identische Umgebungen:
- Blue — aktuelle Produktion
- Green — neue Version
Schalten Sie den Traffic nach dem Testen von Green in einem Schritt von 0 % auf 100 % um.
Canary-Deployments
Verlagern Sie den Traffic schrittweise auf die neue Version:
- 5 % -> Metriken beobachten
- 20 % -> beobachten
- 50 %
- 100 %
Führen Sie bei einer Verschlechterung der Metriken in jedem Schritt ein Rollback durch.
Worauf Sie achten sollten
- Fehlerrate
- p95-Latenz
- Kosten pro Request
- Signale aus dem Benutzerfeedback (Verhältnis von positiven zu negativen Bewertungen)
- Bestehensrate der Evaluierung auf einem Shadow-Datensatz mit Live-Traffic
Routing With a Feature Flag
import random
def pick_agent_version(user_id):
if launchdarkly.variation('use-v2', user_id, default=False):
return v2
if random.random() < canary_pct:
return v2
return v1
# Roll canary_pct from 0 to 1.0 gradually.Rollout pro Mandant
Rollen Sie in B2B-SaaS pro Mandant aus — zuerst interne Benutzer, dann ausgewählte Kunden und schließlich alle:
if user.org_id in EARLY_ACCESS_ORGS:
return v2
return v1Schattenmodus
Führen Sie die neue Version PARALLEL aus, verwenden Sie ihre Ausgabe aber nicht für Antworten:
v1_result = run_v1(query)
async def shadow():
v2_result = await run_v2(query)
log_compare(v1_result, v2_result)
asyncio.create_task(shadow())
return v1_resultProduktions-Traffic wiedergeben
Erfassen Sie Produktionsanfragen in einem Puffer und geben Sie sie nachts mit der neuen Version wieder. Vergleichen Sie die Antwortqualität, bevor Sie die Version freigeben.
A/B-Tests
Teilen Sie den Traffic bei langfristigen Qualitätsexperimenten zufällig auf und vergleichen Sie die Metriken über mehrere Wochen statistisch.
Prompt-Versionierung
Behandeln Sie Prompts wie Code — fixieren Sie eine Version, veröffentlichen Sie sie zusammen mit dem Modell und führen Sie sie per Flag aus:
PROMPTS = {
'qa-v3': '...',
'qa-v4': '...'
}
active = 'qa-v4' if feature_flag_on() else 'qa-v3'Modellversion festlegen
Legen Sie die Modellversion (gpt-4o-2024-08-06) fest, damit Anbieter ihre Standardmodelle aktualisieren können, ohne dass sich das Verhalten über Nacht unbemerkt ändert.
Automatisches Rollback
Wenn eine Metrik einen Schwellenwert überschreitet, setzen Sie den Canary automatisch auf 0 % zurück und alarmieren Sie:
if p95_latency_now > 1.5 * p95_latency_baseline:
flag.set('canary_pct', 0)
alert('Auto-rollback triggered')Jedes Release dokumentieren
Jedes Release dokumentiert:
- Was sich geändert hat (Prompt, Modell, Retrieval)
- Evaluierungsergebnisse vorher/nachher
- Canary-Zeitverlauf
- Ob ein Rollback durchgeführt wurde
Warum Canary?
Warum sollten Sie bei Agenten Canary-Deployments statt einstufiger Releases verwenden?
Zusammenfassung
Steuern Sie den Traffic per Feature-Flag, erhöhen Sie ihn von 5 % auf 100 %, beobachten Sie Fehler, Latenz, Kosten und Feedback und führen Sie bei Bedarf schnell ein Rollback durch. Ergänzen Sie den Schattenmodus und die Wiedergabe von Traffic für mehr Sicherheit.
Lerne AI Agents mit einem KI-Tutor — kostenlos
Schreibe und führe echten Code in deinem Browser aus, bekomme sofortige Hilfe von einem 24/7 KI-Tutor und setze dein Lernen im Web oder in der App fort.
- Kurse
- 60
- Lektionen
- 239
Häufig gestellte Fragen
Ist die Lektion „Blue-Green- und Canary-Deployments für Agents“ kostenlos?
Ja — der vollständige Text von „Blue-Green- und Canary-Deployments für Agents“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des AI Agents-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der AI Agents-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Blue-Green- und Canary-Deployments für Agents“?
Rollen Sie neue Prompts und Modelle für 5 % des Traffics aus, beobachten Sie die Metriken und erhöhen Sie den Anteil schrittweise – niemals alles auf einmal. Du übst AI Agents mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um AI Agents zu starten?
Keine Vorkenntnisse erforderlich. AI Agents auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 4 von 4.
Wie lange dauert die Lektion „Blue-Green- und Canary-Deployments für Agents“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser AI Agents-Lektion Code schreiben und ausführen?
Ja. Jede AI Agents-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Agents hinter einer API bereitstellen
- Asynchrone Workflows und Hintergrundjobs
- Rate-Limiting und Quotenverwaltung
- Blue-Green- und Canary-Deployments für Agents