Подбор размера экземпляров и реплик

Большая часть расходов на обслуживание ML приходится на экземпляры, работающие вполсилы. Подбор размера означает соответствие оборудования и количества реплик реальной нагрузке, а не предполагаемому худшему сценарию.

Нельзя подобрать размер того, что Вы не измеряли. Начните с наблюдения за реальной загрузкой CPU и памяти в течение обычного дня с трафиком.

Выбор огромного экземпляра «на всякий случай» кажется безопасным, но каждый час сжигает деньги. Постоянно низкая загрузка — самый явный признак избыточного выделения ресурсов.

Если средняя загрузка CPU держится около 15 процентов, Ваш экземпляр слишком велик. Стремитесь к здоровой целевой загрузке, оставляя запас для кратковременных всплесков.

Вертикальное масштабирование предоставляет одной реплике более мощную машину. Горизонтальное масштабирование вместо этого добавляет больше небольших реплик, что обычно лучше справляется с неравномерным трафиком.

В Kubernetes Ваш запрос ресурсов сообщает планировщику, сколько действительно нужно каждой реплике. Задавайте его на основе наблюдаемого использования, а не приблизительной оценки.

Слишком малое число реплик приводит к очередям запросов и медленным ответам. Слишком большое — к простаивающим модулям, за которые Вы всё равно платите. Подбирайте число реплик по пиковой одновременной нагрузке.

Автомасштабировщик горизонтального масштабирования модулей добавляет реплики при росте нагрузки и удаляет их при её снижении, поэтому Вам не приходится платить за мощность в непиковое время.

Минимальное число реплик поддерживает несколько готовых модулей, поэтому трафик никогда не попадает в холодный пустой сервис. Это Ваш компромисс между стоимостью и доступностью.

Экземпляры с GPU стоят во много раз дороже экземпляров с CPU. Запрашивайте GPU только тогда, когда он действительно нужен модели, и плотно загружайте его работой, чтобы он не простаивал.

Модели трафика меняются в течение недель и месяцев. Регулярно пересматривайте тип экземпляров и количество реплик, чтобы весь парк оставался хорошо подобранным.

Вы измерили загрузку, выбрали между вертикальным и горизонтальным масштабированием, задали запросы и добавили автомасштабирование. Теперь Ваш парк соответствует реальному спросу. 💸