0Pricing
Data Science Academy · 课时

离群值及其含义

找出不合群的值

离群值及其含义 是 CoddyKit 上的免费 Data Science Academy 课时。 这是第 4 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 Data Science Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 Data Science Academy 课程共包含 4 节课。

与众不同的值

有时,某个值会远远偏离其余数据。这个孤零零的点就是异常值,它可能在不知不觉中扭曲您的整个分析结果。🚩

异常值为何重要

单个极端值就可能大幅拉动均值,并增大标准差。及早发现异常值,可以避免它们掩盖真正的规律。

错误还是真实信号

并非所有异常值都是无用数据。有些是需要修正的笔误,但另一些则是值得您充分关注的真实信号,例如欺诈或罕见事件。

IQR 规则

经典的检测方法会使用IQR。远低于 Q1 或远高于 Q3 的任何值,都会被标记为可能的异常值,需要进一步检查。

1.5 倍 IQR 栅栏

在 Q1 减去 1.5 倍 IQR 以及 Q3 加上 1.5 倍 IQR 的位置建立栅栏。位于这道栅栏之外的点,就是疑似异常值。

low = q1 - 1.5 * iqr

在 pandas 中标记异常值

布尔掩码可以快速找到它们。将您的列与两道栅栏进行比较,pandas 就会准确返回位于外部的那些行。

df[(df["x"] < low) | (df["x"] > high)]

Z 分数方法

另一种方法是z 分数,它表示某个点距离均值多少个标准差。通常,超过约 3 个标准差的值会被视为异常值。

在箱线图中查看异常值

箱线图会为您绘制 IQR 栅栏,并将超出栅栏的值标记为独立的点。这是您可以使用的最快异常值可视化检查方法。

删除之前先调查

不要仅仅因为某个点很极端就将其删除。请先调查它,因为删除真实数据可能会抹去您真正需要的洞见。

处理异常值的方法

了解异常值后,您可以将其删除、限制上限,或保留它。将值限制在栅栏范围内是一种较为温和的折中方法,可以减少异常值造成的影响。

记录每个决定

无论您作出什么决定,都请记录下来。清楚注明修改了哪些异常值以及修改原因,可以让您的分析保持诚实并且可复现。

快速检查

您发现数据集中有一个值远高于 Q3。

回顾:驯服异常值

现在,您可以使用 IQR 规则或 z 分数检测异常值,判断它们是错误还是真实信号,并有目的地进行处理。🎓

常见问题解答

「离群值及其含义」课时是免费的吗?

是的 — 「离群值及其含义」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 Data Science Academy 课程的其余内容,请升级到 CoddyKit PRO。 Data Science Academy 课程共包含 4 节课。

「离群值及其含义」这节课中我会学到什么?

找出不合群的值 你通过在浏览器中直接运行的动手代码来练习 Data Science Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 Data Science Academy 需要有经验吗?

无需任何先前经验。CoddyKit 上的 Data Science Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 4 节课,共 4 节。

「离群值及其含义」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 Data Science Academy 课中编写并运行代码吗?

能。每节 Data Science Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 均值、中位数和众数
  2. 离散程度:方差和标准差
  3. 最小值、最大值和四分位数
  4. 离群值及其含义
← 返回 Data Science Academy