MLOps Academy · 课时

定义自动回滚标准

当错误率或延迟突破保护线时恢复原版本

第 3 / 4 课13 个步骤

定义自动回滚标准 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 3 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。

为什么要自动回滚

凌晨 3 点没有人会一直盯着仪表板。自动回滚可以让系统在模型越过危险线的瞬间自行恢复到之前的版本。🚨

选择明确的防线

回滚规则需要一个可测量的防线指标,例如错误率或 p99 延迟,并且要有一个明确表示出现问题的数值。

设置硬阈值

把模糊的担忧转化为具体限制。例如,如果 Canary 在测量窗口内的错误率超过 2%,就执行回滚。

ROLLBACK_RULES = {
    "error_rate": 0.02,
    "p99_latency_ms": 500,
}

与 Champion 比较

绝对限制可能无法发现缓慢的退化。如果 Canary 明显差于 Champion,也要回滚,例如在相同流量下延迟高出 20%。

选择时间窗口

在滚动的窗口内评估指标,例如最近 5 分钟。一次不走运的请求不应单独触发完整回滚。

等待足够的流量

三次请求中 100% 的错误率没有意义。在允许任何指标触发回滚之前,都要要求达到最小样本量。

用代码做出决策

检查本质上只是一次比较:如果实时指标突破限制,就返回回滚信号,让编排器执行操作。

def should_rollback(metrics):
    return (
        metrics["error_rate"] > 0.02
        or metrics["p99_latency_ms"] > 500
    )

也要关注业务指标

模型可能运行很快且没有错误,但转化率仍然可能大幅下降。请保护真正重要的结果,而不只是技术健康状况信号。

让回滚成本更低

回滚应该是一个快速且安全的步骤:将流量切回经过验证的 Champion。让上一版本保持预热并准备好接管。

始终通知人工人员

自动化可以处理紧急停止,但也必须通知团队。自动回滚后,应通知人员调查根本原因。

避免反复切换

回滚后不要立即自动重新部署同一个失败的模型。请冻结发布,直到人工完成审查,这样它就不会来回反复切换。

快速检查

哪种设计选择可以让回滚规则值得信赖?

回顾

良好的回滚标准会在合理的窗口内使用明确阈值和足够流量,与 Champion 比较,通知人工人员,并快速恢复。✅

免费开始

用 AI 导师学习 Python — 免费

在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。

课程
30
课程
120

常见问题解答

「定义自动回滚标准」课时是免费的吗?

是的 — 「定义自动回滚标准」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 MLOps Academy 课程的其余内容,请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。

「定义自动回滚标准」这节课中我会学到什么?

当错误率或延迟突破保护线时恢复原版本 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 MLOps Academy 需要有经验吗?

无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 3 节课,共 4 节。

「定义自动回滚标准」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 MLOps Academy 课中编写并运行代码吗?

能。每节 MLOps Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 金丝雀发布:先部署给少量用户
  2. 在不影响用户的情况下进行影子流量测试
  3. 定义自动回滚标准
  4. 使用 Argo Rollouts 渐进式交付
← 返回 MLOps Academy