Оценка эффективности модели

Оценка эффективности модели машинного обучения имеет решающее значение для обеспечения её результативности. Для задач классификации используются такие метрики, как доля правильных ответов, точность, полнота и F1-мера.

Доля правильных ответов

Доля правильных ответов показывает отношение правильно спрогнозированных объектов к общему числу объектов:

Accuracy = (True Positives + True Negatives) / Total Instances

Хотя эта метрика полезна, одной доли правильных ответов может быть недостаточно для несбалансированных наборов данных.

Точность

Точность показывает, насколько правильны положительные прогнозы:

Precision = True Positives / (True Positives + False Positives)

Высокая точность означает меньшее количество ложноположительных результатов.

Полнота

Полнота показывает способность модели правильно выявлять все положительные объекты:

Recall = True Positives / (True Positives + False Negatives)

Высокая полнота означает меньшее количество ложноотрицательных результатов.

F1-мера

F1-мера — это гармоническое среднее точности и полноты:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Она уравновешивает точность и полноту и особенно полезна для несбалансированных наборов данных.

Использование scikit-learn для вычисления метрик

Scikit-learn предоставляет функции для вычисления этих метрик:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Матрица ошибок

Матрица ошибок даёт подробное представление об эффективности модели:

• Истинно положительные (TP): Правильно спрогнозированные положительные объекты.
• Ложноположительные (FP): Неправильно спрогнозированные положительные объекты.
• Истинно отрицательные (TN): Правильно спрогнозированные отрицательные объекты.
• Ложноотрицательные (FN): Неправильно спрогнозированные отрицательные объекты.

Выбор подходящей метрики

Выбор метрики зависит от задачи:

• Доля правильных ответов: Хорошо работает с несбалансированными наборами данных.
• Точность: Важна, когда ложноположительные результаты дорого обходятся.
• Полнота: Критически важна, когда ложноотрицательные результаты дорого обходятся.
• F1-мера: Сбалансированная метрика для несбалансированных наборов данных.

Итоги и дальнейшие шаги

В этом уроке мы рассмотрели:

• Метрики оценки эффективности модели: долю правильных ответов, точность, полноту и F1-меру.
• Вычисление этих метрик с помощью scikit-learn.
• Интерпретацию матрицы ошибок.

Далее мы рассмотрим методы обучения без учителя, например кластеризацию.