PricingLoginStart free
MLOps Academy · Урок

Отправка данных в удалённое хранилище

Храните наборы данных в S3 или GCS с удалённым хранилищем DVC

Урок 3 из 413 шагов

«Отправка данных в удалённое хранилище» — бесплатный урок MLOps Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения MLOps Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс MLOps Academy содержит 4 уроков всего.

Кэш пока только локальный

Пока Ваши данные находятся в локальном кэше DVC только на одном компьютере. Коллеги и системы непрерывной интеграции не могут получить к нему доступ, поэтому нужно общее место для хранения данных.

Знакомство с удалённым хранилищем DVC

Удалённое хранилище DVC — это облачное или общее хранилище, куда загружается кэш данных. Представьте его как удалённый репозиторий Git, но для больших объёмов данных, а не для кода.

Поддержка множества хранилищ

DVC работает с S3, Google Cloud Storage, Azure, SSH и даже обычной общей папкой. Выбирайте любое хранилище, которое уже использует Ваша команда. ☁️

Добавление удалённого хранилища S3

Используйте dvc remote add, чтобы зарегистрировать хранилище. Флаг -d помечает его как используемое по умолчанию, поэтому push и pull будут применять его автоматически.

dvc remote add -d storage s3://my-bucket/dvcstore

Коммит конфигурации удалённого хранилища

Настройка удалённого хранилища находится в .dvc/config. Закоммитьте её в Git, чтобы каждый участник команды получил одинаковое удалённое хранилище без дополнительной настройки.

git add .dvc/config
git commit -m "Add S3 DVC remote"

Учётные данные не попадают в Git

DVC считывает облачные учётные данные из окружения или профиля AWS, а не из закоммиченной конфигурации. Секреты остаются в безопасности и не попадают под контроль версий.

export AWS_ACCESS_KEY_ID=...
export AWS_SECRET_ACCESS_KEY=...

Отправка данных

Выполните dvc push, чтобы загрузить всё содержимое кэша в удалённое хранилище. Отправляются только файлы, которых там ещё нет, поэтому операция выполняется быстро.

dvc push

Одновременная отправка данных и кода

Полезное правило: сначала отправляйте данные, затем код. Тогда указатели .dvc в Git всегда будут ссылаться на данные, которые уже существуют в удалённом хранилище.

dvc push
git push

Коллеги загружают данные

После клонирования и выполнения git pull коллега запускает dvc pull, чтобы скачать именно те наборы данных, на которые ссылаются файлы .dvc. Код и данные снова объединяются.

git clone <repo>
dvc pull

Разница между fetch и pull

dvc fetch загружает данные только в кэш, а dvc pull также восстанавливает их в рабочей папке. Pull объединяет fetch и checkout в один шаг.

Дедупликация экономит пропускную способность

Поскольку удалённое хранилище использует адресацию по содержимому, неизменившиеся файлы никогда не загружаются повторно. Отправляются только действительно новые данные. 🚀

Быстрая проверка

Какая команда отправляет отслеживаемые данные из локального кэша в общее хранилище?

Ответь в интерактивном уроке

Итоги

Вы добавили удалённое хранилище DVC, закоммитили его конфигурацию и использовали dvc push для отправки данных. Коллеги выполняют dvc pull, чтобы получить именно те наборы данных, на которые ссылаются Ваши указатели.

Можно начать бесплатно

Изучай Python с ИИ-репетитором — бесплатно

Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.

Курсы
30
Уроки
120
Начать учиться бесплатноПосмотреть полный курс

Часто задаваемые вопросы

Урок «Отправка данных в удалённое хранилище» бесплатный?

Да — полный текст урока «Отправка данных в удалённое хранилище» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс MLOps Academy, подпишись на CoddyKit PRO. Курс MLOps Academy содержит 4 уроков всего.

Чему я научусь в уроке «Отправка данных в удалённое хранилище»?

Храните наборы данных в S3 или GCS с удалённым хранилищем DVC Ты практикуешь MLOps Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать MLOps Academy?

Предыдущий опыт не требуется. MLOps Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.

Сколько времени занимает урок «Отправка данных в удалённое хранилище»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке MLOps Academy?

Да. Каждый урок MLOps Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

  1. Почему одного Git недостаточно для версионирования данных
  2. Инициализация DVC и отслеживание набора данных
  3. Отправка данных в удалённое хранилище
  4. Возврат к предыдущей версии набора данных
← Назад к MLOps Academy