0Pricing
Learn AI with Python · Урок

Git для проектов искусственного интеллекта

git init, .gitignore для данных и моделей, фиксация ноутбуков и DVC для версионирования данных.

«Git для проектов искусственного интеллекта» — бесплатный урок Learn AI with Python на CoddyKit. Это урок 2 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Learn AI with Python, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Learn AI with Python содержит 4 уроков всего.

Git в проектах с ИИ

Git отслеживает изменения в коде, чтобы вы могли работать вместе, отменять ошибки и просматривать историю. Но у проектов с ИИ есть особенность: огромные файлы данных и двоичные модели не следует хранить в Git.

В этом уроке рассматриваются продуманный файл .gitignore и использование DVC для версионирования данных.

Что Git отслеживает лучше всего

Git лучше всего работает с текстом: исходным кодом, конфигурациями, ноутбуками с очищенными результатами и документацией. Он эффективно хранит различия между версиями текстовых файлов.

С большими двоичными файлами Git работает плохо — каждая версия хранится полностью, навсегда раздувая репозиторий.

Почему не следует фиксировать данные и модели

Добавление в репозиторий набора данных размером 2 GB или модели размером 500 MB:

  • увеличивает репозиторий и замедляет каждое клонирование
  • не позволяет осмысленно сравнивать различия
  • навсегда сохраняет данные в истории, даже после удаления

Решение: исключать их из Git и версионировать с помощью специального инструмента.

Файл .gitignore

.gitignore содержит шаблоны, которые Git не должен отслеживать. Создайте его в корне проекта. Каждая строка — шаблон с подстановочными символами.

# .gitignore
*.pkl
*.joblib
*.h5
data/raw/*
data/processed/*
models/*
__pycache__/
*.pyc
.ipynb_checkpoints/
.env

Игнорирование файлов моделей и кэша

Распространённые шаблоны исключений для проектов с ИИ:

  • *.pkl, *.joblib, *.h5 — сериализованные модели
  • __pycache__/, *.pyc — байт-код Python
  • .ipynb_checkpoints/ — автоматические сохранения Jupyter
  • .env — секреты и ключи API (никогда не добавляйте их в репозиторий!)

Сохранение пустых папок с помощью .gitkeep

Git игнорирует пустые каталоги. Чтобы сохранить data/raw/ в структуре репозитория, игнорируя его содержимое, добавьте пустой файл .gitkeep и правило-отрицание.

# .gitignore
data/raw/*
!data/raw/.gitkeep

Знакомство с DVC

DVC (контроль версий данных) версионирует большие наборы данных и модели вместе с Git. Git отслеживает небольшие файлы-указатели .dvc, а сами данные хранятся в удалённом хранилище (S3, GCS и т. д.).

Вы получаете воспроизводимые версии данных, не раздувая репозиторий Git.

dvc init

Инициализируйте DVC внутри существующего репозитория Git. Команда создаёт каталог .dvc/ и конфигурацию, которую вы добавляете в Git.

# in your git repo
dvc init
git add .dvc .gitignore
git commit -m "Initialize DVC"

dvc add — отслеживание данных

dvc add начинает отслеживать файл или папку. DVC перемещает данные в свой кэш и создаёт небольшой файл-указатель .dvc. В Git добавляется указатель, а не сами данные.

dvc add data/raw/dataset.csv
# creates data/raw/dataset.csv.dvc
git add data/raw/dataset.csv.dvc data/raw/.gitignore
git commit -m "Track dataset with DVC"

dvc push и dvc pull

Настройте удалённое хранилище, затем dvc push загрузит в него данные, а dvc pull скачает версию, соответствующую текущей фиксации Git. Так участники команды обмениваются данными.

dvc remote add -d storage s3://my-bucket/dvcstore
dvc push          # upload data to the remote

# teammate after git clone + git checkout:
dvc pull          # fetch the matching data version

Рабочий процесс команды

Цикл Git + DVC связывает версии кода и данных:

  • git pull — получить последнюю версию кода и указатели .dvc
  • dvc pull — получить соответствующие данные и модели
  • Работать, затем выполнить dvc add + git commit + dvc push

Переключение на старую фиксацию и запуск dvc pull воспроизводят то состояние в точности.

Быстрая проверка: большие файлы

В вашем проекте есть обучающий набор данных размером 1 GB и файл модели размером 300 MB.

Итоги: Git для проектов с ИИ

Вы изучили управление версиями с учётом особенностей ИИ:

  • Git для текста (кода, конфигураций, ноутбуков), но не для больших двоичных файлов
  • .gitignore для *.pkl, data/raw/*, __pycache__, .env
  • .gitkeep для сохранения пустых папок
  • DVC: dvc init, dvc add, dvc push/pull для версионирования данных и моделей
  • Рабочий процесс Git + DVC поддерживает синхронизацию кода и данных

Далее: обеспечение воспроизводимости экспериментов.

Часто задаваемые вопросы

Урок «Git для проектов искусственного интеллекта» бесплатный?

Да — полный текст урока «Git для проектов искусственного интеллекта» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Learn AI with Python, подпишись на CoddyKit PRO. Курс Learn AI with Python содержит 4 уроков всего.

Чему я научусь в уроке «Git для проектов искусственного интеллекта»?

git init, .gitignore для данных и моделей, фиксация ноутбуков и DVC для версионирования данных. Ты практикуешь Learn AI with Python с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Learn AI with Python?

Предыдущий опыт не требуется. Learn AI with Python на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 2 из 4.

Сколько времени занимает урок «Git для проектов искусственного интеллекта»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Learn AI with Python?

Да. Каждый урок Learn AI with Python включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

  1. Профессиональная структура каталогов проекта искусственного интеллекта
  2. Git для проектов искусственного интеллекта
  3. Воспроизводимость: начальные значения, конфигурации и окружения
  4. Лучшие практики для ноутбуков Jupyter
← Назад к Learn AI with Python