Точность, полнота и F1
Компромисс между разными видами ошибок
«Точность, полнота и F1» — бесплатный урок Data Science Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Data Science Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Data Science Academy содержит 4 уроков всего.
Почему точности недостаточно
Когда один класс встречается редко, точность может выглядеть высокой, даже если модель пропускает всё важное. Вам нужны более информативные метрики, такие как точность положительных предсказаний и полнота. 🎯
Что такое точность положительных предсказаний
Точность положительных предсказаний отвечает на вопрос: сколько действительно положительных случаев среди всех, которые я отметил как положительные? Она показывает, насколько можно доверять ответу «да».
precision = TP / (TP + FP)Когда важна точность положительных предсказаний
Высокая точность положительных предсказаний важна, когда ложные тревоги дорого обходятся, например при пометке настоящего письма как спама. Нужно, чтобы каждая отметка была правильной.
Что такое полнота
Полнота отвечает на вопрос: сколько действительно положительных случаев удалось обнаружить? Она показывает, насколько хорошо модель не пропускает нужные случаи.
recall = TP / (TP + FN)Когда важна полнота
Высокая полнота важна, когда пропуски опасны, например при проверке на заболевание. Обнаружить каждый настоящий случай важнее, чем избежать нескольких ложных тревог.
Перетягивание каната
Точность положительных предсказаний и полнота обычно противоречат друг другу. Если отмечать больше случаев, Вы обнаружите больше положительных, но увеличите число ложных тревог. Это компромисс.
Появляется оценка F1
Оценка F1 объединяет точность положительных предсказаний и полноту в одно число с помощью гармонического среднего, поощряя модели, которые хорошо соблюдают баланс.
f1 = 2 * (precision * recall) / (precision + recall)Зачем нужно гармоническое среднее
F1 использует гармоническое среднее, поэтому низкое значение любой из двух метрик снижает итоговую оценку. Нельзя получить хороший результат, превосходно настроив только одну метрику.
Получите их одним вызовом
Вам не нужно вычислять эти показатели вручную. classification_report сразу выводит точность положительных предсказаний, полноту и F1 для каждого класса.
from sklearn.metrics import classification_report
print(classification_report(y_true, y_pred))Выберите метрику для оптимизации
Пусть выбор определяется задачей. Оптимизируйте полноту, когда опасны пропуски, точность положительных предсказаний — когда опасны ложные тревоги, а F1 — когда нужен баланс.
Следите за усреднением
Если классов много, выберите способ усреднения. Макроусреднение считает классы равными, а взвешенное учитывает размер класса. Выбор меняет интерпретацию результата.
f1_score(y_true, y_pred, average='macro')Быстрая проверка
Убедимся, что Вы не путаете точность положительных предсказаний и полноту.
Итоги
Точность положительных предсказаний определяет, насколько можно доверять ответу «да», полнота обнаруживает положительные случаи, а F1 уравновешивает оба показателя. При выборе ориентируйтесь на цену каждой ошибки. 🎯
Изучай Python с ИИ-репетитором — бесплатно
Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.
- Курсы
- 30
- Уроки
- 120
Часто задаваемые вопросы
Урок «Точность, полнота и F1» бесплатный?
Да — полный текст урока «Точность, полнота и F1» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Data Science Academy, подпишись на CoddyKit PRO. Курс Data Science Academy содержит 4 уроков всего.
Чему я научусь в уроке «Точность, полнота и F1»?
Компромисс между разными видами ошибок Ты практикуешь Data Science Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Data Science Academy?
Предыдущий опыт не требуется. Data Science Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.
Сколько времени занимает урок «Точность, полнота и F1»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Data Science Academy?
Да. Каждый урок Data Science Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Метрики регрессии: MAE, MSE, R2
- Разбор матрицы ошибок
- Точность, полнота и F1
- ROC, AUC и пороги