Метрики классификации: точность, precision, recall и F1

Точность — доля правильных предсказаний — самая интуитивно понятная метрика, но при несбалансированных классах она вводит в заблуждение. Рассмотрим медицинский тест на заболевание, которым страдает 1% пациентов. Модель, всегда предсказывающая «здоров», достигает точности 99%, оставаясь совершенно бесполезной: она пропускает каждый реальный случай заболевания. При обнаружении мошенничества, скрининге на рак или прогнозировании редких событий точность скрывает неспособность модели обнаруживать редкий, но критически важный положительный класс. Поэтому нам нужны метрики, которые отдельно измеряют качество работы с каждым классом: прецизионность, полноту и F1-меру.

Матрица ошибок — основа всех метрик классификации. При бинарной классификации это таблица 2x2: истинно положительные (TP) — правильно предсказанные положительные случаи; истинно отрицательные (TN) — правильно предсказанные отрицательные случаи; ложноположительные (FP) — предсказаны как положительные, но фактически являются отрицательными (ошибка I рода); ложноотрицательные (FN) — предсказаны как отрицательные, но фактически являются положительными (ошибка II рода). Каждая метрика классификации выводится из некоторого сочетания этих четырёх чисел. Анализ исходной матрицы ошибок показывает, какой тип ошибок модель совершает чаще всего.

Точность = (TP + TN) / (TP + TN + FP + FN). Она отвечает на вопрос: какая доля всех предсказаний была правильной? Точность является объективной метрикой только тогда, когда классы примерно сбалансированы, а стоимость ложно положительных и ложно отрицательных ошибок примерно одинакова. Например, распознавание рукописных цифр, где на каждый класс цифр приходится примерно 10% примеров, сбалансировано, поэтому точность является разумной мерой. Используйте точность, когда: классы сбалансированы и все ошибки имеют одинаковую стоимость. Избегайте её, когда: классы распределены неравномерно (один класс преобладает) или ложноотрицательные ошибки дороже ложноположительных (или наоборот).

Прецизионность = TP / (TP + FP). Она отвечает на вопрос: какая доля всех образцов, предсказанных как положительные, действительно является положительной? Прецизионность — это метрика, которую следует оптимизировать, когда ложноположительные ошибки имеют высокую стоимость. При обнаружении спама фильтр с высокой прецизионностью редко помечает обычные письма как спам. При тестировании лекарств высокая прецизионность означает, что мы редко одобряем неработающий препарат. Низкая прецизионность означает, что многие положительные предсказания ошибочны и пользователи получают слишком много ложных предупреждений. Прецизионность ничего не говорит о ложноотрицательных ошибках: модель, которая предсказывает положительный результат только для одного очевидного случая, имеет прецизионность 1.0, но пропускает всё остальное.

Полнота = TP / (TP + FN) (также называется чувствительностью или долей истинно положительных случаев). Она отвечает на вопрос: какую долю всех действительно положительных образцов мы обнаружили? Полноту следует оптимизировать, когда ложноотрицательные ошибки имеют высокую стоимость. При скрининге на рак высокая полнота означает, что мы выявляем большинство пациентов, действительно больных раком. При обнаружении мошенничества высокая полнота означает, что мы обнаруживаем большинство мошеннических операций. Низкая полнота означает, что мы пропускаем слишком много действительно положительных случаев, что опасно в медицинских системах и системах безопасности. Полнота и прецизионность противоречат друг другу: увеличение одной обычно уменьшает другую.

Прецизионность и полнота связаны обратно пропорционально, если изменять порог классификации. При снижении порога (если положительный результат предсказывается более часто) полнота увеличивается (обнаруживается больше действительно положительных случаев), но прецизионность снижается (проходит больше ложноположительных случаев). Повышение порога даёт противоположный эффект. Не существует единственного порога, который одновременно максимизирует обе метрики. Выбор приоритетной метрики зависит от бизнес-задачи: при фильтрации электронной почты следует отдавать приоритет прецизионности (не раздражать пользователей ложными уведомлениями о спаме), а при скрининге на заболевания — полноте (не пропускать больных пациентов).

F1-мера = 2 * (прецизионность * полнота) / (прецизионность + полнота). F1-мера — это гармоническое среднее прецизионности и полноты. В отличие от арифметического среднего, гармоническое среднее штрафует за крайние значения: модель с прецизионностью=1.0 и полнотой=0.0 получает F1=0, а не 0.5. Поэтому F1 является справедливой сводной метрикой, для которой и прецизионность, и полнота должны быть достаточно высокими. F1 — это стандартная метрика для несбалансированной классификации текстов (в тестах NLP её всегда приводят), обнаружения мошенничества и любых задач, где дисбаланс классов делает точность вводящей в заблуждение.

Fbeta-мера обобщает F1, вводя параметр beta, который определяет вес полноты относительно прецизионности: F_beta = (1 + beta^2) * Precision * Recall / (beta^2 * Precision + Recall). При beta=1 это стандартная F1-мера. При beta=2 (F2) полнота получает вдвое больший вес, чем прецизионность, что полезно, когда пропуск положительного случая вдвое дороже ложной тревоги. При beta=0.5 (F0.5) больший вес получает прецизионность, что полезно в рекомендательных системах, где точность рекомендаций важнее охвата.

При многоклассовой классификации необходимо объединить значения прецизионности, полноты и F1 для отдельных классов в одно число. Макроусреднение: вычислить метрику для каждого класса независимо, а затем усреднить — все классы считаются равными независимо от их размера. Взвешенное усреднение: то же самое, но с весами, пропорциональными представленности класса, поэтому более крупные классы оказывают большее влияние. Микроусреднение: сначала объединить TP/FP/FN для всех классов, а затем вычислить метрику — при отсутствии образцов с несколькими метками оно эквивалентно точности для прецизионности, полноты и F1. Используйте макроусреднение для несбалансированных наборов данных, в которых важны небольшие миноритарные классы.

classification_report() создаёт отформатированную таблицу с прецизионностью, полнотой, F1-мерой и представленностью (числом истинных экземпляров) для каждого класса, а также с макро- и взвешенными средними. Это стандартный результат, который следует включать в любой отчёт об оценке ML-модели. Столбец «представленность» особенно важен: для класса с представленностью=5 оценки прецизионности и полноты будут нестабильными, поэтому их следует интерпретировать осторожно. Всегда проверяйте значения представленности вместе со значениями F1, чтобы оценить надёжность метрик.

Сбалансированная точность — это арифметическое среднее чувствительности (полноты для каждого класса). Для бинарной классификации: balanced_accuracy = (TPR + TNR) / 2, где TNR (доля истинно отрицательных случаев) = TN / (TN+FP). В отличие от обычной точности, сбалансированная точность придаёт каждому классу одинаковый вес независимо от количества его образцов. Модель, всегда предсказывающая мажоритарный класс, получает сбалансированную точность 0.5, что верно показывает: она не лучше случайного угадывания. Используйте сбалансированную точность, когда классы несбалансированы и Вам нужна одна метрика, одинаково отражающая качество работы со всеми классами без необходимости вычислять метрики для каждого класса отдельно.

В этом уроке Вы узнали: точность вводит в заблуждение при несбалансированных классах — используйте матрицу ошибок как источник истинных значений; прецизионность измеряет качество положительных предсказаний (минимизирует ложноположительные ошибки), а полнота измеряет охват действительно положительных случаев (минимизирует ложноотрицательные ошибки); F1-мера гармонически объединяет обе характеристики в сбалансированную метрику. Далее мы рассмотрим ROC-кривые и AUC-ROC для оценки моделей, не зависящей от порога.