Автоматическое продвижение только при превосходстве над базовой моделью

Только что дообученная модель может оказаться хуже рабочей. Никогда не переводите новую модель в рабочую среду вслепую только потому, что она новее.

Рабочая модель — это эталонная модель, а новая модель-кандидат — претендент. Для продвижения претендент должен победить по метрикам.

Базовый уровень — это текущая оценка эталонной модели на фиксированном наборе для оценки. Кандидат должен явно превзойти это число, чтобы получить право на продвижение.

Оценивайте обе модели на идентичном отложенном тестовом наборе. Справедливое сравнение возможно только тогда, когда между ними ничего больше не изменилось.

Оформите решение в виде проверки, возвращающей истину только при победе кандидата. Это условие напрямую сравнивает две оценки.

Небольшой прирост может быть шумом, поэтому требуйте реальный запас. Требование улучшения как минимум на 1% не позволит без причины менять модель в рабочей среде.

Сравнивайте модели по метрике, важной для Вашей задачи, например F1 или AUC, а не только по общей точности. Неправильная метрика продвигает неправильную модель.

Поместите условие сразу после оценки в DAG. Если кандидат проигрывает, конвейер останавливается, а эталонная модель продолжает работать.

Победа означает перевод этапа модели в Production в реестре. Это переключение — единственное действие, меняющее модель, которую получают пользователи.

При каждом запуске сохраняйте обе оценки и результат. Этот аудит впоследствии объяснит, почему модель была или не была продвинута.

Кандидат может выглядеть превосходно из-за утечки данных в тестовый набор или его уменьшения. Проверьте корректность оценки, прежде чем доверять продвижению.

Вы поставили продвижение в зависимость от результатов: сравнили кандидата с эталонной моделью на одних и тех же данных, потребовали запас, а затем перевели победителя на нужный этап в реестре. ✅