以模型质量作为合并门槛
如果新模型的评分更低，则阻止合并请求
以模型质量作为合并门槛 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 3 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。
合并时的关卡
质量关卡会阻止拉取请求合并，除非新模型达到足够的质量。它将模型质量变成硬性规则，而不是一种期待。🚧
为什么代码测试还不够
代码可以通过所有测试，却仍然生成更差的模型。您需要单独检查指标（例如准确率或 F1），以保护用户。
选择一个守护指标
选择一个能够反映任务成功与否的主要指标。同时根据太多数字设置关卡，会让每个拉取请求都变成令人困惑的协商。
设置明确的阈值
定义最低标准，即阈值。如果新模型的得分低于该阈值，构建就会失败，并自动阻止合并。
MIN_ACCURACY = 0.85在固定数据集上评估
始终使用同一个留出的测试集进行评分。冻结的评估集能让每个拉取请求和每次运行之间的比较更加公平。
有意让构建失败
在 CI 中，以非零代码退出的步骤会将作业标记为失败。因此，如果指标未达标，您可以有意抛出错误来阻止合并。
if acc < MIN_ACCURACY:
raise SystemExit(f"acc {acc} below bar")与当前最佳模型比较
更智能的关卡会将新模型与生产环境中的当前基线进行比较，阻止性能退化的合并，而不只是检查是否达到固定数值。
assert new_acc >= baseline_acc分支保护强制执行规则
在 GitHub 中，在分支保护设置下将 CI 作业标记为必需检查。这样，只有关卡通过后，合并按钮才会启用。
在拉取请求中显示数值
打印得分，让审查者能够看到它。清晰的日志行或显示指标的拉取请求评论，能将红色叉号变成值得信任的解释。
print(f"::notice::accuracy={acc:.3f}")允许经过审查的覆盖
有时轻微下降是可以接受的。允许人工通过审查批准来覆盖失败的关卡，使规则能够提供指导，而不会完全阻塞团队。
防止得分不稳定
设置随机种子和稳定的测试集，使同一个模型得到相同的数值。确定性的评估可以避免关卡仅因运气而失败。
快速检查
当模型太弱时，CI 步骤究竟如何阻止合并？
回顾
选择一个指标，设置阈值或超过基线，并在未达标时让构建失败。将作业标记为必需检查，这样较弱的模型就不会在无人察觉的情况下合并。
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「以模型质量作为合并门槛」课时是免费的吗？
是的 — 「以模型质量作为合并门槛」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 MLOps Academy 课程的其余内容，请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。
「以模型质量作为合并门槛」这节课中我会学到什么？
如果新模型的评分更低，则阻止合并请求 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 MLOps Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 3 节课，共 4 节。
「以模型质量作为合并门槛」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 MLOps Academy 课中编写并运行代码吗？
能。每节 MLOps Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。