Профилирование и настройка задержки предсказаний

Невозможно настроить то, что Вы не измеряете. Перед изменением параметров получите реальные значения задержки и пропускной способности при надёжной рабочей нагрузке. 📏

В состав Triton входит perf_analyzer — инструмент, который отправляет модели множество запросов и сообщает задержку и пропускную способность, чтобы Вы могли сравнивать конфигурации.

Вы указываете perf_analyzer модель, после чего он отправляет синтетические запросы и выводит количество инференсов в секунду и разбивку задержки.

Самый полезный флаг перебирает значения параллелизма — количества запросов, выполняющихся одновременно. Это показывает, как меняются пропускная способность и задержка при росте нагрузки.

По мере роста параллелизма пропускная способность увеличивается, а затем выравнивается, тогда как задержка продолжает расти. Точка перегиба этой кривой — Ваш практический рабочий режим.

Средние значения скрывают проблемы. Следите за задержкой p95 — значением, которое превышают 95 процентов запросов, поскольку именно высокую задержку в хвосте распределения ощущают пользователи.

Если задержка слишком велика, уменьшите max_queue_delay_microseconds. Если при высокой нагрузке пропускная способность слишком мала, увеличьте его, чтобы формировать более полные пакеты.

Если GPU используется недостаточно, добавьте экземпляр. Если памяти мало или обработка останавливается, удалите один экземпляр. Меняйте только один параметр за раз и повторяйте измерения.

Настройка — это цикл, а не один резкий шаг. Измените один параметр, снова запустите perf_analyzer, сравните результаты и сохраните изменение только в том случае, если показатели действительно улучшились.

Сначала определите свой бюджет, например p95 менее 50 мс. Затем увеличивайте размер пакета и количество экземпляров настолько, насколько возможно, не выходя за этот предел.

Показатели сервера не дают полной картины. Сетевые переходы и код клиента добавляют время, поэтому также измеряйте задержку от начала до конца — от места, где находится пользователь.

Вы использовали perf_analyzer для перебора уровней параллелизма, изучили кривую зависимости пропускной способности от задержки по p95 и настроили задержку в очереди и количество экземпляров в пределах заданного бюджета, изменяя по одному параметру за раз. 🙌