使用 Great Expectations 验证数据
对输入数据强制执行模式和分布规则
使用 Great Expectations 验证数据 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 4 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。
在数据到达时进行验证
错误的输入会悄悄污染预测结果。Great Expectations会在数据到达模型之前,根据规则检查传入数据。🛡️
预期是一条规则
预期是关于数据的一条声明式要求,例如某列不含空值,或所有值都处于指定范围内。
expect_column_values_to_not_be_null("user_id")预期读起来像英语
方法名称会直接表达意图,因此任何人都可以进行审查。清晰的声明式风格让数据契约易于审计。
expect_column_values_to_be_between(
"age", 0, 120)将规则分组到套件中
相关预期会放在一起。预期套件就是针对一个数据集运行的完整规则集合。
通过分析数据来生成初始规则
您不必手动编写每条规则。分析器会扫描样本数据并提出一个初始套件,然后您可以进一步完善它。
运行一次验证
将套件应用于新数据后,会得到通过或失败的结果。每次验证都会准确报告哪些预期被违反,以及违反的方式。
检查架构,而不只是值
列可能会在没有任何警告的情况下被重命名或重新排序。架构预期会锁定列集合及其顺序。
expect_table_columns_to_match_ordered_list(cols)捕获分布偏移
值可能仍然合法,但分布形态已经发生变化。分布预期会标记均值或离散程度偏离训练数据的情况。
可共享的数据文档
Great Expectations 会将结果呈现为网页报告。这些数据文档为整个团队提供易于阅读的数据质量视图。
接入流水线
在数据摄取时进行验证,让错误数据尽早停止。失败的套件可以在训练或服务开始之前停止流水线。
持续更新的数据契约
您的套件是对优质数据应有形态的共同约定。请将契约视为代码:在 Git 中审查并进行版本管理。
快速检查
针对一个数据集运行的完整规则集合应称为什么?
回顾:执行数据契约
现在,您可以使用Great Expectations:通过针对空值、范围、架构和分布的声明式套件验证数据,并尽早阻止错误输入。✅
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「使用 Great Expectations 验证数据」课时是免费的吗?
是的 — 「使用 Great Expectations 验证数据」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 MLOps Academy 课程的其余内容,请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。
「使用 Great Expectations 验证数据」这节课中我会学到什么?
对输入数据强制执行模式和分布规则 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 MLOps Academy 需要有经验吗?
无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 4 节课,共 4 节。
「使用 Great Expectations 验证数据」课时需要多长时间?
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。
我能在这节 MLOps Academy 课中编写并运行代码吗?
能。每节 MLOps Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 为您的数据流程编写单元测试
- 模型行为测试
- 设置质量门槛和阈值
- 使用 Great Expectations 验证数据