智能体的蓝绿部署与金丝雀部署
先将新的提示词和模型部署到 5% 的流量,观察指标后再逐步扩大——绝不要一次性全部切换。
智能体的蓝绿部署与金丝雀部署 是 CoddyKit 上的免费 AI Agents 课时。 这是第 4 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AI Agents 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 AI Agents 课程共包含 4 节课。
本课时的部分内容尚未翻译,以英文显示。
代理的部署有所不同
传统代码的部署是确定性的——单元测试通过意味着更改是安全的。LLM 代理的部署则 NOT 是确定性的——即使代码相同,替换提示词或模型也可能悄悄降低质量。
请使用专门用于尽早发现回归问题的部署策略。
蓝绿部署
两个完全相同的环境:
- 蓝——当前生产环境
- 绿——新版本
测试绿色环境后,用一个步骤将流量从 0% 切换到 100%。
金丝雀部署
逐步将流量转移到新版本:
- 5% -> 观察指标
- 20% -> 观察
- 50%
- 100%
如果指标恶化,可以在任何步骤回滚。
需要关注的指标
- 错误率
- p95 延迟
- 每个请求的成本
- 用户反馈信号(赞成/反对的比例)
- 实时流量影子集上的评估通过率
Routing With a Feature Flag
import random
def pick_agent_version(user_id):
if launchdarkly.variation('use-v2', user_id, default=False):
return v2
if random.random() < canary_pct:
return v2
return v1
# Roll canary_pct from 0 to 1.0 gradually.按租户逐步发布
在 B2B SaaS 中按租户逐步发布——先面向内部用户,然后是友好的客户,最后是所有人:
if user.org_id in EARLY_ACCESS_ORGS:
return v2
return v1影子模式
IN PARALLEL 运行新版本,但不要提供它的输出:
v1_result = run_v1(query)
async def shadow():
v2_result = await run_v2(query)
log_compare(v1_result, v2_result)
asyncio.create_task(shadow())
return v1_result重放生产流量
将生产环境中的查询捕获到缓冲区中;每天晚上在新版本上重放。提升版本前先比较答案质量。
A/B 测试
对于长期质量实验,请随机拆分流量,并在数周内对指标进行统计比较。
提示词版本管理
像对待代码一样对待提示词——固定一个版本,与模型并行发布,并通过功能标志逐步启用:
PROMPTS = {
'qa-v3': '...',
'qa-v4': '...'
}
active = 'qa-v4' if feature_flag_on() else 'qa-v3'固定模型版本
固定模型版本(gpt-4o-2024-08-06),这样提供商更新其默认模型时,就不会在一夜之间悄悄改变行为。
自动回滚
如果某项指标越过阈值,就自动将金丝雀版本的流量降回 0%,并发出告警:
if p95_latency_now > 1.5 * p95_latency_baseline:
flag.set('canary_pct', 0)
alert('Auto-rollback triggered')记录每次发布
每次发布都应记录:
- 发生了哪些变化(提示词、模型、检索)
- 变化前后的评估结果
- 金丝雀发布时间线
- 是否发生回滚
为什么使用金丝雀部署?
为什么代理要使用金丝雀部署,而不是一步发布?
回顾
使用功能标志控制流量,将比例从 5% 提升到 100%,关注错误、延迟、成本和反馈;需要时快速回滚。加入影子模式和流量重放以增强信心。
常见问题解答
「智能体的蓝绿部署与金丝雀部署」课时是免费的吗?
是的 — 「智能体的蓝绿部署与金丝雀部署」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 AI Agents 课程的其余内容,请升级到 CoddyKit PRO。 AI Agents 课程共包含 4 节课。
「智能体的蓝绿部署与金丝雀部署」这节课中我会学到什么?
先将新的提示词和模型部署到 5% 的流量,观察指标后再逐步扩大——绝不要一次性全部切换。 你通过在浏览器中直接运行的动手代码来练习 AI Agents,全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 AI Agents 需要有经验吗?
无需任何先前经验。CoddyKit 上的 AI Agents 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 4 节课,共 4 节。
「智能体的蓝绿部署与金丝雀部署」课时需要多长时间?
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。
我能在这节 AI Agents 课中编写并运行代码吗?
能。每节 AI Agents 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 通过 API 提供智能体服务
- 异步工作流与后台任务
- 速率限制与配额管理
- 智能体的蓝绿部署与金丝雀部署