Penerapan Blue-Green dan Canary untuk Agen
Rilis prompt dan model baru ke 5% lalu lintas, pantau metrik, kemudian tingkatkan secara bertahap—jangan pernah merilis semuanya sekaligus.
Penerapan Blue-Green dan Canary untuk Agen adalah pelajaran AI Agents gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar AI Agents, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus AI Agents mencakup 4 pelajaran total.
Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.
Penerapan Agen Berbeda
Penerapan kode tradisional bersifat deterministik — kelulusan pengujian unit berarti perubahan tersebut aman. Penerapan agen LLM NOT demikian — bahkan dengan kode yang sama, mengganti perintah atau model dapat menurunkan kualitas secara halus.
Gunakan strategi penerapan yang dirancang untuk mendeteksi regresi sejak dini.
Penerapan Blue-Green
Dua lingkungan yang identik:
- Blue — produksi saat ini
- Green — versi baru
Alihkan lalu lintas dari 0% -> 100% dalam satu langkah setelah menguji green.
Penerapan Canary
Alihkan lalu lintas ke versi baru secara bertahap:
- 5% -> pantau metrik
- 20% -> pantau
- 50%
- 100%
Lakukan rollback pada langkah mana pun jika metrik memburuk.
Hal yang Dipantau
- Tingkat kesalahan
- Latensi p95
- Biaya per permintaan
- Sinyal umpan balik pengguna (rasio suka/tidak suka)
- Tingkat kelulusan evaluasi pada set bayangan lalu lintas langsung
Routing With a Feature Flag
import random
def pick_agent_version(user_id):
if launchdarkly.variation('use-v2', user_id, default=False):
return v2
if random.random() < canary_pct:
return v2
return v1
# Roll canary_pct from 0 to 1.0 gradually.Peluncuran per Penyewa
Luncurkan per penyewa dalam SaaS B2B — pengguna internal terlebih dahulu, kemudian pelanggan yang sudah dikenal, lalu semua orang:
if user.org_id in EARLY_ACCESS_ORGS:
return v2
return v1Mode Bayangan
Jalankan versi baru IN PARALLEL tetapi jangan sajikan keluarannya:
v1_result = run_v1(query)
async def shadow():
v2_result = await run_v2(query)
log_compare(v1_result, v2_result)
asyncio.create_task(shadow())
return v1_resultPutar Ulang Lalu Lintas Produksi
Ambil kueri produksi ke dalam buffer; putar ulang setiap malam pada versi baru. Bandingkan kualitas jawaban sebelum mempromosikannya.
Pengujian A/B
Untuk eksperimen kualitas yang berjalan lama, bagi lalu lintas secara acak dan bandingkan metrik secara statistik selama berminggu-minggu.
Pemberian Versi Perintah
Perlakukan perintah seperti kode — tetapkan versinya, rilis secara berdampingan dengan model, dan luncurkan melalui penanda:
PROMPTS = {
'qa-v3': '...',
'qa-v4': '...'
}
active = 'qa-v4' if feature_flag_on() else 'qa-v3'Penguncian Versi Model
Tetapkan versi model (gpt-4o-2024-08-06) agar pembaruan model default oleh penyedia tidak diam-diam mengubah perilaku dalam semalam.
Rollback Otomatis
Jika suatu metrik melewati ambang batas, otomatis tarik canary kembali ke 0% dan berikan peringatan:
if p95_latency_now > 1.5 * p95_latency_baseline:
flag.set('canary_pct', 0)
alert('Auto-rollback triggered')Dokumentasikan Setiap Rilis
Catatan setiap rilis:
- Hal yang berubah (perintah, model, pengambilan)
- Hasil evaluasi sebelum/sesudah
- Linimasa canary
- Apakah dilakukan rollback
Mengapa Canary?
Mengapa menggunakan penerapan canary untuk agen, bukan rilis satu langkah?
Ringkasan
Atur lalu lintas dengan penanda fitur, tingkatkan dari 5% -> 100%, pantau kesalahan / latensi / biaya / umpan balik, dan lakukan rollback dengan cepat jika diperlukan. Tambahkan mode bayangan serta pemutaran ulang untuk meningkatkan keyakinan.
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Penerapan Blue-Green dan Canary untuk Agen” gratis?
Ya — teks lengkap “Penerapan Blue-Green dan Canary untuk Agen” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus AI Agents, upgrade ke CoddyKit PRO. Kursus AI Agents mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Penerapan Blue-Green dan Canary untuk Agen”?
Rilis prompt dan model baru ke 5% lalu lintas, pantau metrik, kemudian tingkatkan secara bertahap—jangan pernah merilis semuanya sekaligus. Kamu berlatih AI Agents dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai AI Agents?
Tidak diperlukan pengalaman sebelumnya. AI Agents di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Penerapan Blue-Green dan Canary untuk Agen” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran AI Agents ini?
Ya. Setiap pelajaran AI Agents menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Menyajikan Agen melalui API
- Alur Kerja Asinkron dan Pekerjaan Latar Belakang
- Pembatasan Laju dan Pengelolaan Kuota
- Penerapan Blue-Green dan Canary untuk Agen