Использование прерываемых экземпляров для обучения
Запускайте прерываемые задания за небольшую часть обычной стоимости
«Использование прерываемых экземпляров для обучения» — бесплатный урок MLOps Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения MLOps Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс MLOps Academy содержит 4 уроков всего.
Дешёвые вычисления с одной оговоркой
Облачные провайдеры сдают свободные мощности с большой скидкой. Такие прерываемые экземпляры могут стоить до девяноста процентов дешевле машин по запросу.
Они могут исчезнуть в любой момент
Оговорка заключается в том, что провайдер может забрать прерываемый экземпляр почти без предупреждения. Именно это прерывание делает его дешёвым и требует от Вас подготовки.
Обучение допускает прерывания
Обучение отлично подходит для прерываемых экземпляров, поскольку выполняется в фоновом режиме, а не перед пользователями. Приостановленная задача приносит гораздо меньше вреда, чем прерванный рабочий запрос.
Создавайте контрольные точки часто и заранее
Главная привычка — сохранять прогресс до того, как произойдёт прерывание. Создание контрольных точек по ходу работы записывает веса модели и состояние оптимизатора в надёжное хранилище.
torch.save({"epoch": epoch, "model": model.state_dict()}, "ckpt.pt")Продолжайте с места остановки
Когда запускается новый прерываемый экземпляр, загрузите последнюю контрольную точку и продолжите работу. Возобновление превращает изъятие машины в короткую паузу, а не в потерю работы.
ckpt = torch.load("ckpt.pt")
model.load_state_dict(ckpt["model"])Храните контрольные точки вне машины
Сохраняйте контрольные точки в надёжном хранилище, например S3, а не на локальном диске. Когда экземпляр выйдет из строя, Ваш прогресс должен сохраниться за его пределами.
Учитывайте уведомление о завершении
Большинство облаков отправляет короткое предупреждение перед изъятием машины. Обработайте это уведомление о завершении и сохраните финальную контрольную точку, пока ещё есть возможность.
Распределяйте работу между типами экземпляров
Если запасы одного типа машин закончатся, Ваша задача остановится. Запрос нескольких типов и зон повышает вероятность получить дешёвую мощность.
Обслуживайте пользователей на стабильных мощностях
Прерываемые экземпляры подходят для обучения, но не всегда для обслуживания пользователей, зависящих от малой задержки. Для надёжности держите вывод на мощностях по запросу или зарезервированных мощностях.
Поручите инструментам управлять перебоями
Управляемые сервисы, такие как SageMaker Managed Spot или Kubernetes, могут автоматически возобновлять задачи за Вас, скрывая большую часть последствий прерывания.
Сопоставляйте экономию с задержкой
Прерываемые экземпляры позволяют снизить стоимость ценой периодических задержек. Для запуска с критичным сроком безопасная цена мощностей по запросу может оправдать расходы.
Быстрая проверка
Убедимся, что обучение на прерываемых экземплярах остаётся безопасным.
Итоги
Вы узнали, почему прерываемые экземпляры дешевы, часто создавали контрольные точки в надёжном хранилище, возобновляли работу после прерываний и обслуживали пользователей на стабильных вычислительных мощностях. 💰
Изучай Python с ИИ-репетитором — бесплатно
Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.
- Курсы
- 30
- Уроки
- 120
Часто задаваемые вопросы
Урок «Использование прерываемых экземпляров для обучения» бесплатный?
Да — полный текст урока «Использование прерываемых экземпляров для обучения» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс MLOps Academy, подпишись на CoddyKit PRO. Курс MLOps Academy содержит 4 уроков всего.
Чему я научусь в уроке «Использование прерываемых экземпляров для обучения»?
Запускайте прерываемые задания за небольшую часть обычной стоимости Ты практикуешь MLOps Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать MLOps Academy?
Предыдущий опыт не требуется. MLOps Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.
Сколько времени занимает урок «Использование прерываемых экземпляров для обучения»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке MLOps Academy?
Да. Каждый урок MLOps Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Подбор размера экземпляров и реплик
- Квантизация и дистилляция для удешевления предсказаний
- Использование прерываемых экземпляров для обучения
- Отслеживание стоимости одного предсказания