AI Agents · レッスン

エージェントのBlue-GreenおよびCanaryデプロイ

新しいプロンプトとモデルをトラフィックの5%に展開し、メトリクスを確認してから段階的に増やします。一度に全体へ展開してはいけません。

「エージェントのBlue-GreenおよびCanaryデプロイ」はCoddyKit上の無料AI Agentsレッスンです。これはレッスン4/4です。下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。これはAI Agents学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 AI Agentsコースには全4レッスンが含まれています。

このレッスンの一部はまだ翻訳されておらず、英語で表示されています。

エージェントのデプロイは異なります

従来のコードのデプロイは決定論的です。単体テストに合格すれば、その変更は安全だと判断できます。しかし、LLMエージェントのデプロイはそうではありません。同じコードであっても、プロンプトやモデルを入れ替えると品質が微妙に低下する可能性があります。

リグレッションを早期に検出できるように設計されたデプロイ戦略を使用してください。

ブルーグリーンデプロイ

同一構成の環境を2つ用意します。

Blue — 現在の本番環境
Green — 新しいバージョン

Greenのテスト後、1回の切り替えでトラフィックを0%から100%に変更します。

カナリアデプロイ

新しいバージョンへトラフィックを段階的に移します。

5% → メトリクスを監視
20% → 監視
50%
100%

メトリクスが悪化したら、どの段階でもロールバックします。

監視する項目

エラー率
p95レイテンシ
リクエストあたりのコスト
ユーザーフィードバックの指標（高評価と低評価の比率）
実トラフィックのシャドーセットに対する評価合格率

Routing With a Feature Flag

import random

def pick_agent_version(user_id):
    if launchdarkly.variation('use-v2', user_id, default=False):
        return v2
    if random.random() < canary_pct:
        return v2
    return v1

# Roll canary_pct from 0 to 1.0 gradually.

テナントごとの段階的展開

B2B SaaSではテナントごとに展開します。まず社内ユーザー、次に協力的な顧客、最後に全員という順序です。

if user.org_id in EARLY_ACCESS_ORGS:
    return v2
return v1

シャドーモード

新しいバージョンを並行して実行しますが、その出力は提供しません。

v1_result = run_v1(query)
async def shadow():
    v2_result = await run_v2(query)
    log_compare(v1_result, v2_result)
asyncio.create_task(shadow())
return v1_result

本番トラフィックのリプレイ

本番環境のクエリをバッファーに保存し、新しいバージョンで毎晩リプレイします。昇格させる前に回答品質を比較します。

A/Bテスト

長期間にわたる品質実験では、トラフィックをランダムに分割し、数週間かけてメトリクスを統計的に比較します。

プロンプトのバージョン管理

プロンプトをコードと同じように扱います。バージョンを固定し、モデルと並行してリリースし、フラグで段階的に展開します。

PROMPTS = {
    'qa-v3': '...',
    'qa-v4': '...'
}
active = 'qa-v4' if feature_flag_on() else 'qa-v3'

モデルの固定

モデルのバージョン（gpt-4o-2024-08-06）を固定してください。そうすれば、プロバイダーがデフォルトモデルを更新しても、動作が夜間にひそかに変わることはありません。

自動ロールバック

メトリクスがしきい値を超えたら、カナリアへのトラフィックを自動的に0%に戻し、アラートを発生させます。

if p95_latency_now > 1.5 * p95_latency_baseline:
    flag.set('canary_pct', 0)
    alert('Auto-rollback triggered')

各リリースを文書化する

すべてのリリースについて、次の内容を記録します。

変更内容（プロンプト、モデル、検索）
変更前後の評価結果
カナリアのタイムライン
ロールバックしたかどうか

なぜカナリアを使うのですか

エージェントに対して、1回でリリースする代わりにカナリアデプロイを使うのはなぜですか。

まとめ

フィーチャーフラグでトラフィックを制御し、5%から100%まで段階的に増やします。エラー、レイテンシ、コスト、フィードバックを監視し、必要ならすぐにロールバックします。確信を高めるために、シャドーモードとリプレイも追加します。

よくある質問

「エージェントのBlue-GreenおよびCanaryデプロイ」レッスンは無料ですか？

はい。「エージェントのBlue-GreenおよびCanaryデプロイ」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、AI Agentsコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 AI Agentsコースには全4レッスンが含まれています。

「エージェントのBlue-GreenおよびCanaryデプロイ」で何を学びますか？

新しいプロンプトとモデルをトラフィックの5%に展開し、メトリクスを確認してから段階的に増やします。一度に全体へ展開してはいけません。ブラウザで直接実行するハンズオンコードでAI Agentsを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

AI Agentsを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのAI Agentsは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。これはレッスン4/4です。

「エージェントのBlue-GreenおよびCanaryデプロイ」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このAI Agentsレッスンでコードを書いて実行できますか？

はい。すべてのAI Agentsレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

← AI Agentsに戻る