Разбиение метрик по сегментам и когортам
Находите области, где модель незаметно показывает слабые результаты
«Разбиение метрик по сегментам и когортам» — бесплатный урок MLOps Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения MLOps Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс MLOps Academy содержит 4 уроков всего.
Среднее скрывает правду
Модель с общей точностью 95% всё равно может очень плохо работать для одной группы. Среднее скрывает отдельные области низкой производительности. 🕵️
Что такое срез
Срез — это подмножество данных, объединённое общим признаком: регионом, типом устройства, возрастной группой или категорией продукта.
Сегмент и когорта
Сегмент объединяет объекты по значению признака, например по стране. Когорта объединяет объекты по общему событию во времени, например пользователей, зарегистрировавшихся в прошлом марте.
Рассчитывайте показатели для каждого среза
Вместо одного значения точности рассчитывайте показатель для каждого среза и сравнивайте результаты. Вызов pandas groupby быстро поможет это сделать.
logs.groupby("country").apply(
lambda g: accuracy_score(g.label, g.pred)
)Находите слабые срезы
Если один срез получает результат намного ниже остальных, Вы нашли слабое место, которое сводный показатель незаметно скрывал.
Следите за маленькими срезами
Срез с очень малым числом примеров даёт шумный показатель. Задайте минимальный размер, прежде чем доверять его значению.
Срезы выявляют предвзятость
Сравнение срезов для чувствительных групп выявляет пробелы в справедливости, например стабильно худшие предсказания для одной демографической группы.
Отслеживайте дрейф и для срезов
Дрейф может сначала затронуть только один срез. Отслеживание дрейфа для каждого сегмента позволяет заметить изменения у мобильных пользователей, прежде чем они распространятся повсюду.
Автоматизируйте поиск
Ручная проверка срезов плохо масштабируется. Инструменты поиска срезов просматривают множество подмножеств и отмечают самые проблемные результаты за Вас.
Когорты во времени
Наблюдение за когортой в течение нескольких недель показывает, ухудшается ли работа модели для новых пользователей, когда их поведение начинает отличаться от поведения старых пользователей.
От понимания к действию
Плохой срез указывает на возможное исправление: собрать больше данных, добавить признак или обучить модель для конкретного сегмента.
Быстрая проверка
Выберите настоящую причину разбивать показатели на срезы.
Итоги
Разбивайте показатели по сегментам и когортам, чтобы находить скрытые слабые места, пробелы в справедливости и ранний дрейф, который среднее значение скрыло бы. ✅
Часто задаваемые вопросы
Урок «Разбиение метрик по сегментам и когортам» бесплатный?
Да — полный текст урока «Разбиение метрик по сегментам и когортам» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс MLOps Academy, подпишись на CoddyKit PRO. Курс MLOps Academy содержит 4 уроков всего.
Чему я научусь в уроке «Разбиение метрик по сегментам и когортам»?
Находите области, где модель незаметно показывает слабые результаты Ты практикуешь MLOps Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать MLOps Academy?
Предыдущий опыт не требуется. MLOps Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.
Сколько времени занимает урок «Разбиение метрик по сегментам и когортам»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке MLOps Academy?
Да. Каждый урок MLOps Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Четыре основы наблюдаемости машинного обучения
- Сохранение предсказаний для последующего анализа
- Разбиение метрик по сегментам и когортам
- Объяснение предсказаний с помощью SHAP