デプロイとロールバックの戦略
プロンプトのブルーグリーンデプロイ、フィーチャーフラグ、回帰発生時のロールバックを学びます。
「デプロイとロールバックの戦略」はCoddyKit上の無料AI Prompt Engineeringレッスンです。 これはレッスン3/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはAI Prompt Engineering学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 AI Prompt Engineeringコースには全4レッスンが含まれています。
プロンプトデプロイの課題
新しいプロンプトバージョンを本番環境にデプロイする際には、現実的なリスクが伴います。平均的な品質を向上させる変更が、エッジケースに悪影響を与えたり、レイテンシーの急増を引き起こしたり、ユーザーを混乱させたりする可能性があります。制御されたデプロイ戦略によって、影響範囲を限定し、迅速なロールバックを可能にすることで、このリスクを管理します。
ブルーグリーン方式のプロンプトデプロイ
ブルーグリーンデプロイでは、2つの環境を維持します。blue（現在の本番環境）とgreen（新しいバージョン）です。検証後、トラフィックをblueからgreenへアトミックに切り替えます。greenで問題が発生した場合は、即座に切り替えを元に戻せます。
- ダウンタイムなしで切り替えられる
- 両方のバージョンを同時に利用可能な状態に保てる
- ロールバックは再デプロイではなく、設定を1か所変更するだけで行える
# prompt_router.py — blue/green traffic control
class PromptRouter:
def __init__(self):
self.slots = {
'blue': None, # {'prompt_id': ..., 'version': ...}
'green': None,
}
self.active_slot = 'blue'
def load_slot(self, slot, prompt_id, version, template):
self.slots[slot] = {
'prompt_id': prompt_id,
'version': version,
'template': template
}
print(f'Loaded {prompt_id}@{version} into {slot} slot')
def switch_to(self, slot):
if not self.slots[slot]:
raise ValueError(f'Slot {slot} is empty')
self.active_slot = slot
info = self.slots[slot]
print(f'Traffic now routed to {slot}: {info["prompt_id"]}@{info["version"]}')
def get_active_template(self):
return self.slots[self.active_slot]['template']段階的ロールアウトのためのトラフィック分割
トラフィックの100%を一度に切り替えるのではなく、新しいバージョンに送る割合を段階的に増やします。一般的な増加パターンは1% → 5% → 10% → 25% → 50% → 100%で、各段階で品質を監視します。
import random
class TrafficSplitter:
def __init__(self):
# version_weights: {version_id: percentage}
self.version_weights = {
'v1.1.0': 90,
'v1.2.0': 10
}
def select_version(self):
versions = list(self.version_weights.keys())
weights = list(self.version_weights.values())
return random.choices(versions, weights=weights, k=1)[0]
def update_split(self, new_weights):
assert sum(new_weights.values()) == 100, 'Weights must sum to 100'
self.version_weights = new_weights
print(f'Traffic split updated: {new_weights}')
# Usage
splitter = TrafficSplitter()
for _ in range(5):
print(splitter.select_version())
# Ramp to 25%
splitter.update_split({'v1.1.0': 75, 'v1.2.0': 25})プロンプトロールアウトのフィーチャーフラグ
フィーチャーフラグを使うと、全面的にロールアウトする前に、特定のユーザーやセグメント（ベータユーザー、社内スタッフ）に対して新しいプロンプトバージョンを有効化できます。これにより、段階的ロールアウトの安全性と、実際の利用ケースを対象にしたテストを組み合わせられます。
# Feature flag-based prompt selection
BETA_USER_IDS = {'user_123', 'user_456', 'user_789'}
def select_prompt_version(user_id, prompt_id, registry):
# Check if user is in beta cohort
if user_id in BETA_USER_IDS:
# Try to get a beta version tagged for this prompt
beta = registry.get_version_by_tag(prompt_id, tag='beta')
if beta:
return beta
# Default: serve active (stable) version
return registry.get_active(prompt_id)
# Example: LaunchDarkly-style flag check
def select_prompt_ld(user_id, ld_client, registry):
use_new = ld_client.variation(
'use-summarize-v2', {'key': user_id}, default=False
)
version = 'v2.0.0' if use_new else 'v1.1.0'
return registry.get_version(prompt_id='summarize-article', version=version)新バージョンの品質監視
新しいバージョンにトラフィックを振り分けた後は、次の指標をリアルタイムで監視します。
- エラー率：APIエラー、不正な形式の出力、解析失敗
- レイテンシー：P95応答時間（新しいプロンプトは長くなり、遅くなる可能性があります）
- 品質スコア：LLM評価者またはメトリクスによる自動評価スコア
- ユーザーシグナル：低評価率、再試行率、セッション離脱率
from collections import defaultdict
import time
class VersionMonitor:
def __init__(self):
self.metrics = defaultdict(lambda: {
'calls': 0, 'errors': 0,
'latency_sum': 0, 'quality_sum': 0
})
def record(self, version, latency_ms, quality_score, error=False):
m = self.metrics[version]
m['calls'] += 1
m['latency_sum'] += latency_ms
m['quality_sum'] += quality_score
if error:
m['errors'] += 1
def report(self, version):
m = self.metrics[version]
n = m['calls'] or 1
return {
'version': version,
'calls': m['calls'],
'error_rate': round(m['errors'] / n, 3),
'avg_latency_ms': round(m['latency_sum'] / n),
'avg_quality': round(m['quality_sum'] / n, 2)
}品質低下時の自動ロールバック
本番インシデントに対して手動でロールバックするのは遅すぎます。ロールバックトリガー、つまり違反した場合に以前のバージョンへ自動的に戻すしきい値を定義します。
ROLLBACK_THRESHOLDS = {
'error_rate': 0.05, # > 5% errors trigger rollback
'avg_latency_ms': 10000, # > 10s avg latency triggers rollback
'avg_quality': 3.5 # < 3.5 quality score triggers rollback
}
def check_and_rollback(monitor, registry, version, previous_version):
report = monitor.report(version)
triggers = []
if report['error_rate'] > ROLLBACK_THRESHOLDS['error_rate']:
triggers.append(f'error_rate={report["error_rate"]}')
if report['avg_latency_ms'] > ROLLBACK_THRESHOLDS['avg_latency_ms']:
triggers.append(f'latency={report["avg_latency_ms"]}ms')
if report['avg_quality'] < ROLLBACK_THRESHOLDS['avg_quality']:
triggers.append(f'quality={report["avg_quality"]}')
if triggers:
print(f'ROLLBACK TRIGGERED: {triggers}')
registry.activate_version('summarize-article', previous_version)
alert_oncall(f'Prompt auto-rolled back to {previous_version}: {triggers}')
return True
return Falseカナリアデプロイパターン
カナリアとは、新しいプロンプトバージョンを最初に受け取るごく小さなトラフィックの一部（1～5%）です。安定稼働確認期間の後にカナリアが正常であれば、トラフィックを段階的に移行します。問題があっても、影響を受けるのはカナリアのユーザーだけです。
import time
def canary_deploy(registry, splitter, monitor, new_version, prev_version,
soak_minutes=30, stages=[1, 5, 25, 50, 100]):
for pct in stages:
splitter.update_split({
prev_version: 100 - pct,
new_version: pct
})
print(f'Stage: {pct}% canary. Soaking for {soak_minutes} min...')
time.sleep(soak_minutes * 60) # wait soak period
should_rollback = check_and_rollback(
monitor, registry, new_version, prev_version
)
if should_rollback:
splitter.update_split({prev_version: 100})
print('Canary aborted. Fully reverted to', prev_version)
return False
print(f'Stage {pct}% passed quality check.')
print(f'Canary complete. {new_version} now at 100%.')
return Trueデプロイパイプラインのオーケストレーション
完全なプロンプトデプロイパイプラインには、検証、カナリアの開始、監視ループ、最終的な昇格またはロールバックを組み込みます。主要な段階には人間による承認ゲートを設けつつ、すべてを自動化します。
# deploy_prompt.py — full pipeline
import argparse
def deploy(prompt_id, new_version, prev_version, dry_run=False):
print(f'=== Deploying {prompt_id}: {prev_version} -> {new_version} ===')
# 1. Validate new version exists in registry
artifact = registry.get_version(prompt_id, new_version)
print(f'Found artifact: {artifact["version"]}')
# 2. Run offline eval suite
score = run_eval_suite(artifact['template'])
if score < 0.90:
raise RuntimeError(f'Eval score {score} below threshold 0.90')
print(f'Eval passed: {score}')
if dry_run:
print('Dry run complete. Not deploying.')
return
# 3. Canary deploy with automatic rollback
success = canary_deploy(
registry, splitter, monitor,
new_version, prev_version,
soak_minutes=15, stages=[1, 5, 25, 100]
)
print('Deployment', 'SUCCEEDED' if success else 'FAILED')
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('--new', required=True)
parser.add_argument('--prev', required=True)
parser.add_argument('--dry-run', action='store_true')
args = parser.parse_args()
deploy('summarize-article', args.new, args.prev, args.dry_run)手動ロールバック手順
自動ロールバックが発動しなくても、人間が品質問題に気付いた場合に、手動ロールバック手順書が迅速で一貫した対応を可能にします。
# RUNBOOK: Manual Prompt Rollback
# Estimated time to execute: 2-3 minutes
# Step 1: Identify current and target versions
python manage.py prompt list-versions --prompt-id summarize-article
# Output:
# v1.2.0 [ACTIVE] 2024-08-15 alice
# v1.1.0 [stable] 2024-07-01 alice
# Step 2: Activate previous stable version
python manage.py prompt activate --prompt-id summarize-article --version v1.1.0
# Output: Activated summarize-article@v1.1.0
# Step 3: Verify traffic is serving old version
python manage.py prompt verify --prompt-id summarize-article
# Output: Active version: v1.1.0 Serving: 100%
# Step 4: Log the incident
python manage.py incident create \
--title 'Prompt rollback: summarize-article v1.2.0 -> v1.1.0' \
--severity P2 \
--reason 'Quality score dropped from 4.1 to 3.2 after v1.2.0 deploy'デプロイ設定のコード化
デプロイ設定をバージョン管理されたファイルで定義し、すべてのデプロイに関する意思決定を監査可能かつ再現可能にします。
# deployments/summarize-article.yaml
prompt_id: summarize-article
current_stable: '1.1.0'
canary_config:
stages: [1, 5, 25, 50, 100]
soak_minutes_per_stage: 15
rollback_thresholds:
error_rate_max: 0.05
latency_p95_max_ms: 8000
quality_score_min: 3.5
feature_flags:
beta_group: [user_123, user_456]
alerts:
pagerduty_key: 'PD_KEY_PLACEHOLDER'
slack_channel: '#prompt-alerts'
# Load and apply with a deploy script
import yaml
with open('deployments/summarize-article.yaml') as f:
config = yaml.safe_load(f)
print('Deploying with config:', config['canary_config'])オンコール手順書とポストモーテム
ロールバックやインシデントの後は必ず、ポストモーテムを作成し、何が起きたか、根本原因、タイムライン、対応項目を記録します。ランブックからポストモーテムを参照できるようにし、得られた教訓を反映して更新します。
# Post-mortem template (stored in docs/post-mortems/)
## Incident: summarize-article v1.2.0 quality regression
## Date: 2024-08-15
## Severity: P2
## Duration: 47 minutes (09:15 - 10:02 UTC)
### What happened
Deployed v1.2.0 of summarize-article. At 5% canary, quality score dropped
from 4.1 to 3.0 for articles over 2000 words.
### Root cause
New prompt template removed the explicit length constraint instruction.
Long articles caused the model to generate overly verbose summaries.
### Timeline
09:15 v1.2.0 deployed to 5% canary
09:28 Quality monitor detected avg_quality < 3.5
09:29 Auto-rollback triggered to v1.1.0
09:32 Incident acknowledged by on-call
10:02 Post-mortem drafted
### Action items
- [ ] Add length regression test to eval suite
- [ ] Update canary monitoring to separate metrics by article length
- [ ] Add changelog requirement: 'length behavior' field確認テスト
ブルーグリーン方式のプロンプトデプロイで、グリーンスロットが品質チェックに失敗するとどうなりますか？
デプロイ戦略のまとめ
本番環境へのプロンプトデプロイでは、リスクを管理するために体系的な戦略が必要です。
- ブルーグリーン：2つの稼働環境を用意し、即時にアトミックな切り替えを行います
- カナリア：各段階で品質チェックを行いながら、トラフィックを1% → 5% → 25% → 100%と段階的に増やします
- フィーチャーフラグ：広範なロールアウトの前に、ベータユーザーを対象にします
- 自動ロールバック：エラー率、レイテンシー、品質などがしきい値に達した場合に自動で元に戻します
- ランブック：オンコールエンジニア向けに、手動でロールバックする手順を文書化します
- ポストモーテム：すべてのインシデント後に継続的な改善を行います
よくある質問
「デプロイとロールバックの戦略」レッスンは無料ですか？
はい。「デプロイとロールバックの戦略」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、AI Prompt Engineeringコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 AI Prompt Engineeringコースには全4レッスンが含まれています。
「デプロイとロールバックの戦略」で何を学びますか？
プロンプトのブルーグリーンデプロイ、フィーチャーフラグ、回帰発生時のロールバックを学びます。 ブラウザで直接実行するハンズオンコードでAI Prompt Engineeringを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
AI Prompt Engineeringを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのAI Prompt Engineeringは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン3/4です。
「デプロイとロールバックの戦略」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このAI Prompt Engineeringレッスンでコードを書いて実行できますか？
はい。すべてのAI Prompt Engineeringレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- プロンプトレジストリのアーキテクチャ
- プロンプトのバージョン管理
- デプロイとロールバックの戦略
- 本番環境でのプロンプト性能監視