人工智能系统的可观测性与监控
模型性能仪表板、数据漂移警报、反馈闭环和影子模式部署。
人工智能系统的可观测性与监控 是 CoddyKit 上的免费 Learn AI with Python 课时。 这是第 4 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 Learn AI with Python 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 Learn AI with Python 课程共包含 4 节课。
为什么要监控机器学习系统
模型完成部署并不意味着工作结束。流量可能激增，延迟可能逐渐升高，现实世界也会发生变化，使数据逐渐偏离训练数据。可观测性可以在用户感受到问题之前，告诉您系统是否健康以及模型是否仍然准确。
两类监控
机器学习可观测性涵盖两个层面：
- 运行监控：延迟、吞吐量、错误和资源使用情况（与任何服务相同）
- 模型监控：数据漂移、预测分布以及随时间变化的准确率（机器学习特有）
使用 Prometheus 监控指标
Prometheus是收集时间序列指标的标准系统。您的服务会公开一个指标端点；Prometheus 按固定时间间隔抓取该端点，并存储这些值以供查询和创建警报。
监测延迟
您可以使用 Prometheus 直方图记录推理延迟。直方图可以计算百分位数，这是总结延迟的正确方式，而不是使用容易误导的平均值。
from prometheus_client import Histogram
INFER_LATENCY = Histogram(
"inference_latency_seconds",
"Model inference latency",
)
@INFER_LATENCY.time()
def predict(x):
return model(x)P50 与 P95 延迟
请使用百分位数报告延迟。P50（中位数）代表典型体验；P95代表缓慢的尾部，即有 5% 的请求会超过该值。关注 P95 可以发现平均值掩盖的问题，因为少数缓慢的请求仍然会影响用户。
Grafana 仪表板
Grafana会将 Prometheus 指标可视化为实时仪表板。模型仪表板通常会在一个屏幕上显示请求率、错误率、P50/P95 延迟和预测分布，让您一眼掌握系统健康状况。
什么是数据漂移
数据漂移发生在在线输入分布偏离训练分布时。模型是基于旧模式完成 fit 的，因此随着输入发生漂移，其准确率会在没有任何代码变更的情况下悄然下降。
总体稳定性指数
总体稳定性指数（PSI）通过比较某个特征当前的分布与训练时的分布来量化漂移程度。它会将两种分布分别分箱，然后对各个箱计算加权对数比率并求和。
# PSI = sum over bins of
# (actual_pct - expected_pct) * ln(actual_pct / expected_pct)解读 PSI
常用的 PSI 阈值：
- PSI < 0.1：没有显著漂移
- 0.1 到 0.2：中度漂移，需要调查
- PSI > 0.2：显著漂移，模型可能需要重新训练
当 PSI 超过 0.2 时发出警报是一种常见做法。
反馈循环
最有价值的监控信号是真实结果。反馈循环会收集用户更正和真实标签（例如推荐是否被点击、欺诈标记是否正确），并将它们作为新的训练数据反馈回来。
通过重新训练闭合循环
漂移检测和反馈循环结合起来会触发重新训练：当 PSI 超过阈值，或模型在新标签上的准确率下降时，流水线会使用最新数据重新训练模型，然后重新部署。这样可以让模型持续适应不断变化的现实世界。
快速检查
测试您对可观测性的理解。
回顾
您学习了人工智能系统的可观测性和监控：
- 普罗米修斯收集指标；使用P50/P95报告推理延迟
- 格拉法纳仪表板一目了然地展示系统健康状况
- 使用PSI衡量数据漂移；PSI > 0.2 表示需要重新训练
- 反馈循环将用户更正转化为重新训练数据
常见问题解答
「人工智能系统的可观测性与监控」课时是免费的吗？
是的 — 「人工智能系统的可观测性与监控」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 Learn AI with Python 课程的其余内容，请升级到 CoddyKit PRO。 Learn AI with Python 课程共包含 4 节课。
「人工智能系统的可观测性与监控」这节课中我会学到什么？
模型性能仪表板、数据漂移警报、反馈闭环和影子模式部署。 你通过在浏览器中直接运行的动手代码来练习 Learn AI with Python，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 Learn AI with Python 需要有经验吗？
无需任何先前经验。CoddyKit 上的 Learn AI with Python 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 4 节课，共 4 节。
「人工智能系统的可观测性与监控」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 Learn AI with Python 课中编写并运行代码吗？
能。每节 Learn AI with Python 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。