0Pricing
AI Agents · 课时

智能体的蓝绿部署与金丝雀部署

先将新的提示词和模型部署到 5% 的流量,观察指标后再逐步扩大——绝不要一次性全部切换。

智能体的蓝绿部署与金丝雀部署 是 CoddyKit 上的免费 AI Agents 课时。 这是第 4 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AI Agents 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 AI Agents 课程共包含 4 节课。

本课时的部分内容尚未翻译,以英文显示。

代理的部署有所不同

传统代码的部署是确定性的——单元测试通过意味着更改是安全的。LLM 代理的部署则 NOT 是确定性的——即使代码相同,替换提示词或模型也可能悄悄降低质量。

请使用专门用于尽早发现回归问题的部署策略。

蓝绿部署

两个完全相同的环境:

  • 蓝——当前生产环境
  • 绿——新版本

测试绿色环境后,用一个步骤将流量从 0% 切换到 100%。

金丝雀部署

逐步将流量转移到新版本:

  1. 5% -> 观察指标
  2. 20% -> 观察
  3. 50%
  4. 100%

如果指标恶化,可以在任何步骤回滚。

需要关注的指标

  • 错误率
  • p95 延迟
  • 每个请求的成本
  • 用户反馈信号(赞成/反对的比例)
  • 实时流量影子集上的评估通过率

Routing With a Feature Flag

import random

def pick_agent_version(user_id):
    if launchdarkly.variation('use-v2', user_id, default=False):
        return v2
    if random.random() < canary_pct:
        return v2
    return v1

# Roll canary_pct from 0 to 1.0 gradually.

按租户逐步发布

在 B2B SaaS 中按租户逐步发布——先面向内部用户,然后是友好的客户,最后是所有人:

if user.org_id in EARLY_ACCESS_ORGS:
    return v2
return v1

影子模式

IN PARALLEL 运行新版本,但不要提供它的输出:

v1_result = run_v1(query)
async def shadow():
    v2_result = await run_v2(query)
    log_compare(v1_result, v2_result)
asyncio.create_task(shadow())
return v1_result

重放生产流量

将生产环境中的查询捕获到缓冲区中;每天晚上在新版本上重放。提升版本前先比较答案质量。

A/B 测试

对于长期质量实验,请随机拆分流量,并在数周内对指标进行统计比较。

提示词版本管理

像对待代码一样对待提示词——固定一个版本,与模型并行发布,并通过功能标志逐步启用:

PROMPTS = {
    'qa-v3': '...',
    'qa-v4': '...'
}
active = 'qa-v4' if feature_flag_on() else 'qa-v3'

固定模型版本

固定模型版本(gpt-4o-2024-08-06),这样提供商更新其默认模型时,就不会在一夜之间悄悄改变行为。

自动回滚

如果某项指标越过阈值,就自动将金丝雀版本的流量降回 0%,并发出告警:

if p95_latency_now > 1.5 * p95_latency_baseline:
    flag.set('canary_pct', 0)
    alert('Auto-rollback triggered')

记录每次发布

每次发布都应记录:

  • 发生了哪些变化(提示词、模型、检索)
  • 变化前后的评估结果
  • 金丝雀发布时间线
  • 是否发生回滚

为什么使用金丝雀部署?

为什么代理要使用金丝雀部署,而不是一步发布?

回顾

使用功能标志控制流量,将比例从 5% 提升到 100%,关注错误、延迟、成本和反馈;需要时快速回滚。加入影子模式和流量重放以增强信心。

常见问题解答

「智能体的蓝绿部署与金丝雀部署」课时是免费的吗?

是的 — 「智能体的蓝绿部署与金丝雀部署」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 AI Agents 课程的其余内容,请升级到 CoddyKit PRO。 AI Agents 课程共包含 4 节课。

「智能体的蓝绿部署与金丝雀部署」这节课中我会学到什么?

先将新的提示词和模型部署到 5% 的流量,观察指标后再逐步扩大——绝不要一次性全部切换。 你通过在浏览器中直接运行的动手代码来练习 AI Agents,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 AI Agents 需要有经验吗?

无需任何先前经验。CoddyKit 上的 AI Agents 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 4 节课,共 4 节。

「智能体的蓝绿部署与金丝雀部署」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 AI Agents 课中编写并运行代码吗?

能。每节 AI Agents 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 通过 API 提供智能体服务
  2. 异步工作流与后台任务
  3. 速率限制与配额管理
  4. 智能体的蓝绿部署与金丝雀部署
← 返回 AI Agents