Deploy blue-green e canary per gli agenti
Distribuisca i nuovi prompt e modelli al 5% del traffico, controlli le metriche e aumenti gradualmente: mai tutto in una volta.
Deploy blue-green e canary per gli agenti è una lezione AI Agents gratuita su CoddyKit. Questa è la lezione 4 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento AI Agents, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso AI Agents include 4 lezioni in totale.
Parti di questa lezione non sono ancora state tradotte e vengono mostrate in inglese.
Il deployment degli agent è diverso
I deployment del codice tradizionale sono deterministici: il superamento di un unit test indica che la modifica è sicura. I deployment di agent LLM NON lo sono: anche con lo stesso codice, la sostituzione di un prompt o di un modello può ridurre sottilmente la qualità.
Usi strategie di deployment progettate per rilevare tempestivamente le regressioni.
Deployment blue-green
Due ambienti identici:
- Blue — produzione attuale
- Green — nuova versione
Passi il traffico dallo 0% al 100% in un'unica operazione dopo aver testato green.
Deployment canary
Sposti gradualmente il traffico sulla nuova versione:
- 5% -> osservi le metriche
- 20% -> osservi
- 50%
- 100%
Esegua il rollback in qualsiasi fase se le metriche peggiorano.
Che cosa monitorare
- Tasso di errore
- Latenza p95
- Costo per richiesta
- Segnali del feedback degli utenti (rapporto tra valutazioni positive e negative)
- Tasso di superamento delle eval su un set shadow del traffico reale
Routing With a Feature Flag
import random
def pick_agent_version(user_id):
if launchdarkly.variation('use-v2', user_id, default=False):
return v2
if random.random() < canary_pct:
return v2
return v1
# Roll canary_pct from 0 to 1.0 gradually.Rollout per tenant
Esegua il rollout per tenant in un SaaS B2B: prima gli utenti interni, poi i clienti disponibili a collaborare e infine tutti:
if user.org_id in EARLY_ACCESS_ORGS:
return v2
return v1Modalità shadow
Esegua la nuova versione IN PARALLELO, ma non utilizzi il suo output per rispondere:
v1_result = run_v1(query)
async def shadow():
v2_result = await run_v2(query)
log_compare(v1_result, v2_result)
asyncio.create_task(shadow())
return v1_resultRiprodurre il traffico di produzione
Acquisisca le query di produzione in un buffer e le riproduca ogni notte sulla nuova versione. Confronti la qualità delle risposte prima della promozione.
Test A/B
Per esperimenti di qualità di lunga durata, suddivida casualmente il traffico e confronti statisticamente le metriche nell'arco di settimane.
Versionamento dei prompt
Tratti i prompt come codice: blocchi una versione, la distribuisca affiancata al modello e ne gestisca il rollout tramite un flag:
PROMPTS = {
'qa-v3': '...',
'qa-v4': '...'
}
active = 'qa-v4' if feature_flag_on() else 'qa-v3'Blocco della versione del modello
Blocchi la versione del modello (gpt-4o-2024-08-06) in modo che l'aggiornamento dei modelli predefiniti da parte dei provider non ne modifichi silenziosamente il comportamento da un giorno all'altro.
Rollback automatico
Se una metrica supera una soglia, riporti automaticamente il canary allo 0% e generi un avviso:
if p95_latency_now > 1.5 * p95_latency_baseline:
flag.set('canary_pct', 0)
alert('Auto-rollback triggered')Documentare ogni release
Ogni release deve documentare:
- Che cosa è cambiato (prompt, modello, retrieval)
- Risultati delle eval prima e dopo
- Cronologia del canary
- Se è stato eseguito il rollback
Perché il canary?
Perché usare deployment canary per gli agent invece di release in un'unica fase?
Riepilogo
Instradi il traffico tramite feature flag, aumenti gradualmente dal 5% al 100%, monitori errori, latenza, costi e feedback ed esegua rapidamente il rollback quando necessario. Aggiunga la modalità shadow e la riproduzione del traffico per aumentare la sicurezza.
Domande Frequenti
La lezione «Deploy blue-green e canary per gli agenti» è gratuita?
Sì — il testo completo di «Deploy blue-green e canary per gli agenti» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso AI Agents, passa a CoddyKit PRO. Il corso AI Agents include 4 lezioni in totale.
Cosa imparerò in «Deploy blue-green e canary per gli agenti»?
Distribuisca i nuovi prompt e modelli al 5% del traffico, controlli le metriche e aumenti gradualmente: mai tutto in una volta. Eserciti AI Agents con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare AI Agents?
Non è richiesta alcuna esperienza precedente. AI Agents su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 4 di 4.
Quanto tempo richiede la lezione «Deploy blue-green e canary per gli agenti»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione AI Agents?
Sì. Ogni lezione AI Agents include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Servire gli agenti tramite un'API
- Workflow asincroni e processi in background
- Limitazione della frequenza e gestione delle quote
- Deploy blue-green e canary per gli agenti