Выбор метрик для редких событий

Вы уже не доверяете точности при дисбалансе. Теперь вам нужны метрики, которые действительно поощряют обнаружение редкого события.

Точность — это доля отмеченных положительных случаев, которые действительно являются положительными. Высокая точность означает мало ложных тревог среди ваших предупреждений.

Полнота — это доля действительно положительных случаев, которые Вам удалось обнаружить. Для редких и дорогостоящих событий пропустить их — худший исход.

Показатель F1 объединяет точность и полноту в одно число. Он растёт только тогда, когда оба показателя достаточно высоки, и снижает оценку несбалансированной модели.

Кривая точности и полноты показывает компромисс при всех пороговых значениях. Она напрямую отражает качество для интересующего Вас редкого класса.

При сильном дисбалансе кривые ROC могут выглядеть слишком оптимистично, поскольку истинно отрицательных случаев очень много. Кривая PR честнее показывает качество для редкого класса.

Средняя точность обобщает кривую PR в одну оценку. Более высокое значение означает, что высокая точность сохраняется на многих уровнях полноты.

Один вызов scikit-learn сразу выводит точность, полноту и F1 для каждого класса, поэтому меньшинство никогда не остаётся незамеченным.

В этом отчёте сосредоточьтесь на строке редкого класса. Его полнота и точность показывают, действительно ли модель работает. 🎯

Если пропущенные случаи опасны, оптимизируйте полноту. Если ложные тревоги обходятся дорого, отдавайте предпочтение точности. Пусть решение определяет реальная стоимость ошибок.

Никогда не полагайтесь на одно число. Показывайте вместе точность, полноту, F1 и кривую PR, чтобы никого не ввела в заблуждение завышенная доля правильных ответов.

Для редких событий оценивайте модель по точности, полноте, F1 и кривым PR, а не по доле правильных ответов. Выбирайте показатель с учётом того, какая ошибка обходится Вам дороже. 🎯