Точность, полнота и F1
Компромиссы, которые необходимо понимать
«Точность, полнота и F1» — бесплатный урок NLP Academy на CoddyKit. Это урок 2 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения NLP Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс NLP Academy содержит 4 уроков всего.
За пределами одного числа
Чтобы выйти за рамки точности, разделите результаты для каждого класса на четыре группы. Из них получаются точность положительных предсказаний, полнота и F1 — важные метрики.
Положительный класс
Выберите интересующий вас класс как положительный, например спам или мошенничество. Точность положительных предсказаний и полнота показывают, насколько хорошо вы обрабатываете этот класс.
Точность положительных предсказаний: доверяйте сигналам
Точность положительных предсказаний отвечает на вопрос: сколько из всего, что вы пометили как положительное, действительно оказалось положительным? Высокая точность означает мало ложных тревог.
Полнота: поймайте всех
Полнота отвечает на вопрос: сколько из всех настоящих положительных случаев вы обнаружили? Высокая полнота означает, что мало случаев остаётся незамеченными.
Перетягивание каната
Точность положительных предсказаний и полнота обычно противопоставлены. Если помечать больше объектов, полнота растёт, но точность снижается; если помечать меньше, происходит обратное.
Что выбрать первым
Фильтры спама отдают предпочтение точности, поскольку ошибочное удаление настоящего письма дорого обходится. При проверке на рак важнее полнота, поскольку пропущенный случай гораздо опаснее.
F1: одна сбалансированная оценка
Оценка F1 объединяет точность положительных предсказаний и полноту в одно число с помощью их гармонического среднего, поощряя модели, которые хорошо справляются с обоими показателями.
Зачем нужно гармоническое среднее
F1 использует гармоническое среднее, поэтому модель не может его искусственно завысить. Если точность положительных предсказаний или полнота близка к нулю, F1 тоже остаётся низким.
Просмотр в Python
scikit-learn выводит все три показателя одновременно в удобном отчёте classification_report, который можно просмотреть для каждого класса.
from sklearn.metrics import classification_report
print(classification_report(y_true, y_pred))Получение одной метрики
Можно также напрямую получить одну метрику, если вам нужна только F1 для положительного класса.
from sklearn.metrics import f1_score
f1 = f1_score(y_true, y_pred)Выбирайте по цене ошибки
Ни одна метрика не подходит для всех случаев. Выбирайте точность положительных предсказаний, полноту или F1 с учётом реальной цены каждой ошибки в вашей задаче.
Быстрая проверка
Сопоставьте метрику с вопросом, на который она отвечает.
Итоги
Точность положительных предсказаний ограничивает ложные тревоги, полнота — пропуски, а F1 уравновешивает оба показателя. Пусть метрику выбирает цена каждой ошибки. 📊
Изучай Python с ИИ-репетитором — бесплатно
Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.
- Курсы
- 30
- Уроки
- 120
Часто задаваемые вопросы
Урок «Точность, полнота и F1» бесплатный?
Да — полный текст урока «Точность, полнота и F1» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс NLP Academy, подпишись на CoddyKit PRO. Курс NLP Academy содержит 4 уроков всего.
Чему я научусь в уроке «Точность, полнота и F1»?
Компромиссы, которые необходимо понимать Ты практикуешь NLP Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать NLP Academy?
Предыдущий опыт не требуется. NLP Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 2 из 4.
Сколько времени занимает урок «Точность, полнота и F1»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке NLP Academy?
Да. Каждый урок NLP Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Почему точность может обманывать
- Точность, полнота и F1
- Чтение матрицы ошибок
- Перекрёстная проверка без ошибок