离群值及其含义
找出不合群的值
离群值及其含义 是 CoddyKit 上的免费 Data Science Academy 课时。 这是第 4 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 Data Science Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 Data Science Academy 课程共包含 4 节课。
与众不同的值
有时,某个值会远远偏离其余数据。这个孤零零的点就是异常值,它可能在不知不觉中扭曲您的整个分析结果。🚩
异常值为何重要
单个极端值就可能大幅拉动均值,并增大标准差。及早发现异常值,可以避免它们掩盖真正的规律。
错误还是真实信号
并非所有异常值都是无用数据。有些是需要修正的笔误,但另一些则是值得您充分关注的真实信号,例如欺诈或罕见事件。
IQR 规则
经典的检测方法会使用IQR。远低于 Q1 或远高于 Q3 的任何值,都会被标记为可能的异常值,需要进一步检查。
1.5 倍 IQR 栅栏
在 Q1 减去 1.5 倍 IQR 以及 Q3 加上 1.5 倍 IQR 的位置建立栅栏。位于这道栅栏之外的点,就是疑似异常值。
low = q1 - 1.5 * iqr在 pandas 中标记异常值
布尔掩码可以快速找到它们。将您的列与两道栅栏进行比较,pandas 就会准确返回位于外部的那些行。
df[(df["x"] < low) | (df["x"] > high)]Z 分数方法
另一种方法是z 分数,它表示某个点距离均值多少个标准差。通常,超过约 3 个标准差的值会被视为异常值。
在箱线图中查看异常值
箱线图会为您绘制 IQR 栅栏,并将超出栅栏的值标记为独立的点。这是您可以使用的最快异常值可视化检查方法。
删除之前先调查
不要仅仅因为某个点很极端就将其删除。请先调查它,因为删除真实数据可能会抹去您真正需要的洞见。
处理异常值的方法
了解异常值后,您可以将其删除、限制上限,或保留它。将值限制在栅栏范围内是一种较为温和的折中方法,可以减少异常值造成的影响。
记录每个决定
无论您作出什么决定,都请记录下来。清楚注明修改了哪些异常值以及修改原因,可以让您的分析保持诚实并且可复现。
快速检查
您发现数据集中有一个值远高于 Q3。
回顾:驯服异常值
现在,您可以使用 IQR 规则或 z 分数检测异常值,判断它们是错误还是真实信号,并有目的地进行处理。🎓
常见问题解答
「离群值及其含义」课时是免费的吗?
是的 — 「离群值及其含义」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 Data Science Academy 课程的其余内容,请升级到 CoddyKit PRO。 Data Science Academy 课程共包含 4 节课。
「离群值及其含义」这节课中我会学到什么?
找出不合群的值 你通过在浏览器中直接运行的动手代码来练习 Data Science Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 Data Science Academy 需要有经验吗?
无需任何先前经验。CoddyKit 上的 Data Science Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 4 节课,共 4 节。
「离群值及其含义」课时需要多长时间?
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。
我能在这节 Data Science Academy 课中编写并运行代码吗?
能。每节 Data Science Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。