MLOps Academy · 课时

初始化 DVC 并跟踪数据集

运行 dvc add 并提交指针文件,而不是提交数据

第 2 / 4 课13 个步骤

初始化 DVC 并跟踪数据集 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 2 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。

先安装 DVC

DVC 是一个 Python 软件包,因此只需执行一条 pip 命令即可开始使用。之后,您就可以在终端中使用 dvc 命令了。

pip install dvc

在 Git 仓库中开始

DVC 与 Git 协同工作,而不是取代 Git。因此,您需要在已有的Git 仓库中运行它,您的代码已经存放在那里。

git init
dvc init

dvc init 创建了什么

dvc init 会添加一个隐藏的 .dvc 文件夹,其中保存配置和本地缓存。请提交一次,这样整个团队就能共享相同的设置。

git add .dvc .dvcignore
git commit -m "Initialize DVC"

跟踪您的第一个数据集

使用 dvc add 指定您想要进行版本管理的文件或文件夹。DVC 会将实际数据移入缓存,并留下一个小型占位文件。

dvc add data/train.csv

.dvc 指针文件

dvc add 会在数据旁边创建一个很小的 .dvc 文件。它存储文件的哈希值和大小,充当 Git 要跟踪的地址。

# data/train.csv.dvc
outs:
- md5: 3f2a9c...
  size: 524288
  path: train.csv

Git 跟踪指针

您应将这个小型 .dvc 文件提交到 Git,而不是提交原始数据集。现在,Git 会记录此提交所需的数据版本。

git add data/train.csv.dvc
git commit -m "Track training data"

实际数据放入 .gitignore

为了避免意外提交大型文件,dvc add 会自动将数据集路径添加到 .gitignore 中。Git 会直接忽略这些庞大的数据内容。

cat .gitignore
# /train.csv

内容寻址缓存

DVC 根据文件的内容哈希值为缓存文件命名。相同的数据只存储一次,因此重复的数据集不会浪费磁盘空间。💾

检查状态

随时运行 dvc status,查看工作数据是否与 .dvc 文件中的预期一致。这是快速检查状态的方法。

dvc status

更新已跟踪的文件

数据集发生变化时,只需再次运行 dvc add。DVC 会重新计算哈希值并更新 .dvc 文件,然后您可以将其作为新版本提交。

dvc add data/train.csv
git add data/train.csv.dvc
git commit -m "New data snapshot"

文件夹也可以跟踪

dvc add 不仅适用于单个文件,也适用于整个目录。将其指向一个文件夹后,DVC 会将其中的所有内容作为一个跟踪单元进行版本管理。

dvc add data/images/

快速检查

对数据集运行 dvc add 后,您需要将什么提交到 Git?

回顾

您运行了 dvc init,然后使用 dvc add 跟踪数据集。DVC 会缓存实际数据,并写入一个很小的 .dvc 指针供 Git 提交,从而将代码与数据关联起来。

免费开始

用 AI 导师学习 Python — 免费

在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。

课程
30
课程
120

常见问题解答

「初始化 DVC 并跟踪数据集」课时是免费的吗?

是的 — 「初始化 DVC 并跟踪数据集」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 MLOps Academy 课程的其余内容,请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。

「初始化 DVC 并跟踪数据集」这节课中我会学到什么?

运行 dvc add 并提交指针文件,而不是提交数据 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 MLOps Academy 需要有经验吗?

无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 2 节课,共 4 节。

「初始化 DVC 并跟踪数据集」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 MLOps Academy 课中编写并运行代码吗?

能。每节 MLOps Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 为什么仅靠 Git 无法管理数据版本
  2. 初始化 DVC 并跟踪数据集
  3. 将数据推送到远程存储
  4. 回滚到较早的数据集版本
← 返回 MLOps Academy