Data Science Academy · 课时

ROC、AUC 和阈值

评估不同截断点下的排序质量

第 4 / 4 课13 个步骤

ROC、AUC 和阈值 是 CoddyKit 上的免费 Data Science Academy 课时。 这是第 4 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 Data Science Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 Data Science Academy 课程共包含 4 节课。

模型输出概率

大多数分类器不只是回答“是”或“不”。它们会给出一个概率,例如 0.73,然后由您决定在哪里划线。🎚️

probs = model.predict_proba(X)[:, 1]

决策阈值

阈值会将概率转换为标签。高于阈值表示正例,低于阈值表示负例。默认值 0.5 只是其中一种选择。

y_pred = probs >= 0.5

移动界线

降低阈值可以捕获更多正例,但会增加误报。提高阈值会更加严格,但也会漏掉更多目标。每种设置都有取舍。

需要跟踪的两个比率

随着阈值移动,请观察真正例率与假正例率。二者共同描述模型在每个截断点上的表现。

ROC 曲线

ROC 曲线在所有阈值下绘制真正例率与假正例率的关系,在一张图中展示完整的权衡过程。

from sklearn.metrics import roc_curve
fpr, tpr, thr = roc_curve(y_true, probs)

解读曲线形状

紧贴左上方角落的曲线非常优秀:捕获率高且误报少。对角线表示随机猜测。

曲线下面积

AUC将完整的 ROC 曲线压缩成一个数字,即曲线下方的面积。它一次性总结所有阈值下的表现。

from sklearn.metrics import roc_auc_score
roc_auc_score(y_true, probs)

AUC 的含义

AUC为 1.0 表示完美,0.5 表示类似抛硬币的随机结果。可以将它理解为模型把真正例排在真负例之前的概率。

不受阈值影响的比较

由于AUC不受任何单一截断点影响,它非常适合比较模型。获胜模型能更频繁地将正例排在负例之前。

然后选择阈值

AUC 用于选择模型,但在实际使用时仍需设置阈值,根据问题需求调整它,以偏向召回率或精确率。

何时优先使用 PR 曲线

在非常不平衡的数据上,ROC 可能显得过于乐观。精确率-召回率曲线通常能更真实地反映少数类别的表现。

快速检查

让我们确认 AUC 对分类器究竟说明了什么。

回顾

阈值将概率转换为标签,ROC 曲线展示所有权衡,而 AUC 一次性评估整条曲线。🎯

免费开始

用 AI 导师学习 Python — 免费

在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。

课程
30
课程
120

常见问题解答

「ROC、AUC 和阈值」课时是免费的吗?

是的 — 「ROC、AUC 和阈值」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 Data Science Academy 课程的其余内容,请升级到 CoddyKit PRO。 Data Science Academy 课程共包含 4 节课。

「ROC、AUC 和阈值」这节课中我会学到什么?

评估不同截断点下的排序质量 你通过在浏览器中直接运行的动手代码来练习 Data Science Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 Data Science Academy 需要有经验吗?

无需任何先前经验。CoddyKit 上的 Data Science Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 4 节课,共 4 节。

「ROC、AUC 和阈值」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 Data Science Academy 课中编写并运行代码吗?

能。每节 Data Science Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 回归指标:MAE、MSE、R2
  2. 解读混淆矩阵
  3. 精确率、召回率和 F1
  4. ROC、AUC 和阈值
← 返回 Data Science Academy