初始化 DVC 并跟踪数据集
运行 dvc add 并提交指针文件,而不是提交数据
初始化 DVC 并跟踪数据集 是 CoddyKit 上的免费 MLOps Academy 课时。 这是第 2 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 MLOps Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。
先安装 DVC
DVC 是一个 Python 软件包,因此只需执行一条 pip 命令即可开始使用。之后,您就可以在终端中使用 dvc 命令了。
pip install dvc在 Git 仓库中开始
DVC 与 Git 协同工作,而不是取代 Git。因此,您需要在已有的Git 仓库中运行它,您的代码已经存放在那里。
git init
dvc initdvc init 创建了什么
dvc init 会添加一个隐藏的 .dvc 文件夹,其中保存配置和本地缓存。请提交一次,这样整个团队就能共享相同的设置。
git add .dvc .dvcignore
git commit -m "Initialize DVC"跟踪您的第一个数据集
使用 dvc add 指定您想要进行版本管理的文件或文件夹。DVC 会将实际数据移入缓存,并留下一个小型占位文件。
dvc add data/train.csv.dvc 指针文件
dvc add 会在数据旁边创建一个很小的 .dvc 文件。它存储文件的哈希值和大小,充当 Git 要跟踪的地址。
# data/train.csv.dvc
outs:
- md5: 3f2a9c...
size: 524288
path: train.csvGit 跟踪指针
您应将这个小型 .dvc 文件提交到 Git,而不是提交原始数据集。现在,Git 会记录此提交所需的数据版本。
git add data/train.csv.dvc
git commit -m "Track training data"实际数据放入 .gitignore
为了避免意外提交大型文件,dvc add 会自动将数据集路径添加到 .gitignore 中。Git 会直接忽略这些庞大的数据内容。
cat .gitignore
# /train.csv内容寻址缓存
DVC 根据文件的内容哈希值为缓存文件命名。相同的数据只存储一次,因此重复的数据集不会浪费磁盘空间。💾
检查状态
随时运行 dvc status,查看工作数据是否与 .dvc 文件中的预期一致。这是快速检查状态的方法。
dvc status更新已跟踪的文件
数据集发生变化时,只需再次运行 dvc add。DVC 会重新计算哈希值并更新 .dvc 文件,然后您可以将其作为新版本提交。
dvc add data/train.csv
git add data/train.csv.dvc
git commit -m "New data snapshot"文件夹也可以跟踪
dvc add 不仅适用于单个文件,也适用于整个目录。将其指向一个文件夹后,DVC 会将其中的所有内容作为一个跟踪单元进行版本管理。
dvc add data/images/快速检查
对数据集运行 dvc add 后,您需要将什么提交到 Git?
回顾
您运行了 dvc init,然后使用 dvc add 跟踪数据集。DVC 会缓存实际数据,并写入一个很小的 .dvc 指针供 Git 提交,从而将代码与数据关联起来。
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「初始化 DVC 并跟踪数据集」课时是免费的吗?
是的 — 「初始化 DVC 并跟踪数据集」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 MLOps Academy 课程的其余内容,请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。
「初始化 DVC 并跟踪数据集」这节课中我会学到什么?
运行 dvc add 并提交指针文件,而不是提交数据 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 MLOps Academy 需要有经验吗?
无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 2 节课,共 4 节。
「初始化 DVC 并跟踪数据集」课时需要多长时间?
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。
我能在这节 MLOps Academy 课中编写并运行代码吗?
能。每节 MLOps Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 为什么仅靠 Git 无法管理数据版本
- 初始化 DVC 并跟踪数据集
- 将数据推送到远程存储
- 回滚到较早的数据集版本