Data Science Academy · 课时

为稀有事件选择指标

使用 PR 曲线,而不是单看准确率

第 4 / 4 课13 个步骤

为稀有事件选择指标 是 CoddyKit 上的免费 Data Science Academy 课时。 这是第 4 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 Data Science Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 Data Science Academy 课程共包含 4 节课。

选择正确的衡量标准

您已经不再信任类别不平衡时的准确率。现在需要能够真正奖励识别出罕见事件的指标。

精确率问:我们确定吗

精确率是被标记为正类的样本中,真正为正类的比例。精确率高意味着您的提醒中误报很少。

召回率问:我们识别出来了吗

召回率是您实际捕获到的真实正例所占的比例。对于罕见且代价高昂的事件,漏掉它们是最糟糕的结果。

F1 平衡两者

F1 分数将精确率和召回率融合为一个数值。只有两者都表现不错时,它才会上升,从而惩罚偏科的模型。

PR 曲线

精确率-召回率曲线展示了在所有阈值下的权衡关系。它直接反映您所关注的少数类。

为什么这里使用 PR 而不是 ROC

在类别严重不平衡时,由于真负例数量很多,ROC 曲线可能看起来过于乐观。PR 曲线会如实反映少数类的表现。

平均精确率

平均精确率用一个分数概括 PR 曲线。数值越高,表示在多个召回率水平上都能保持较高的精确率。

阅读完整报告

调用一次 scikit-learn 函数,就能同时输出每个类别的精确率、召回率和 F1 分数,因此少数类不会被掩盖。

from sklearn.metrics import classification_report
print(classification_report(y_test, preds))

关注少数类那一行

在这份报告中,请重点查看少数类所在的行。它的召回率和精确率能告诉您模型是否真正有效。🎯

让评估指标匹配代价

如果漏检很危险,请优化召回率。如果误报代价高昂,请优先考虑精确率。让现实中的代价来决定取舍。

报告不止一个指标

不要只依赖一个数值。请同时展示精确率、召回率、F1 分数和 PR 曲线,避免被虚高的准确率误导。

快速检查

哪项指标最适合罕见但重要的事件?

回顾

对于罕见事件,应使用精确率、召回率、F1 分数和 PR 曲线进行评估,而不是准确率。请根据哪类错误代价最高来选择指标。🎯

免费开始

用 AI 导师学习 Python — 免费

在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。

课程
30
课程
120

常见问题解答

「为稀有事件选择指标」课时是免费的吗?

是的 — 「为稀有事件选择指标」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 Data Science Academy 课程的其余内容,请升级到 CoddyKit PRO。 Data Science Academy 课程共包含 4 节课。

「为稀有事件选择指标」这节课中我会学到什么?

使用 PR 曲线,而不是单看准确率 你通过在浏览器中直接运行的动手代码来练习 Data Science Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 Data Science Academy 需要有经验吗?

无需任何先前经验。CoddyKit 上的 Data Science Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 4 节课,共 4 节。

「为稀有事件选择指标」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 Data Science Academy 课中编写并运行代码吗?

能。每节 Data Science Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 类别不平衡时准确率为何会误导
  2. 重采样:SMOTE 和欠采样
  3. 类别权重和阈值
  4. 为稀有事件选择指标
← 返回 Data Science Academy