单变量偏移与多变量偏移
捕捉仅检查单个特征时可能遗漏的变化
单变量偏移与多变量偏移 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 1 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。
一次检查一个特征
监测漂移最简单的方法,是分别检查每个特征。这称为单变量漂移检测,也是大多数团队的起点。📊
单变量检查的工作方式
进行单变量漂移检测时,您会将每个特征当前的分布与训练时的参考分布进行比较,一次比较一列,并使用 PSI 或 KS 统计量等检验。
单变量检测的局限
单特征检查无法发现只有在特征组合中才会出现的变化。每一列看起来都完全正常,但它们的联合分布可能已经悄然改变。
一个隐藏变化的例子
想象一下,身高和体重单独看都没有变化,但高个且体重较轻的人突然增多了。虽然两个特征本身都没有变化,但它们的组合发生了漂移。这就是多变量漂移。
多变量漂移的含义
多变量漂移会将多个特征放在一起观察,从而捕捉相关性和交互关系的变化,而任何单列检验都可能完全忽略这些变化。
领域分类器技巧
一种巧妙的多变量方法,是训练一个分类器来区分参考数据行和当前数据行。如果分类器能够成功区分,说明两组数据存在差异,也就表明出现了漂移。🕵️
from sklearn.ensemble import RandomForestClassifier
# label reference=0, current=1, then check AUC
clf = RandomForestClassifier().fit(X_all, is_current)解读 AUC 信号
如果该分类器的 AUC 接近 0.5,说明两个时期的数据无法区分,因此没有漂移。如果 AUC 逐渐接近 1.0,说明两组数据很容易被分开。
基于重构的漂移检测
另一种方法使用类似 PCA 的模型:在参考数据上训练模型,然后观察输入结构发生变化时,当前数据上的重构误差是否上升。
结合两种视角
运行单变量检查,以了解哪个特征发生了变化;再运行多变量检查,以捕捉隐藏在特征之间的变化。两者结合可以回答不同的问题。
留意多重检验陷阱
逐一检验数百个特征时,有些特征会纯粹因为偶然而触发警报。请调整阈值,或针对多重比较进行校正,避免淹没在噪声中。
从简单开始,逐步深入
先从单变量检查开始,因为它成本低且易于解释。当您需要捕捉细微的联合变化时,再加入多变量检测。✅
快速检查
让我们检验一下,您究竟什么时候需要多变量视角。
回顾
单变量漂移分别检查每个特征;多变量漂移则捕捉特征之间的变化。使用领域分类器或 PCA 来观察联合变化,同时留意多重检验陷阱。🎯
常见问题解答
「单变量偏移与多变量偏移」课时是免费的吗?
是的 — 「单变量偏移与多变量偏移」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 MLOps Academy 课程的其余内容,请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。
「单变量偏移与多变量偏移」这节课中我会学到什么?
捕捉仅检查单个特征时可能遗漏的变化 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 MLOps Academy 需要有经验吗?
无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 1 节课,共 4 节。
「单变量偏移与多变量偏移」课时需要多长时间?
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。
我能在这节 MLOps Academy 课中编写并运行代码吗?
能。每节 MLOps Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 单变量偏移与多变量偏移
- 使用延迟标签监控性能
- 调整时间窗口,减少误报
- 将偏移警报连接到重新训练