Оценка качества модели

Оценка качества модели машинного обучения крайне важна для проверки её эффективности. Для задач классификации мы используем такие показатели, как доля правильных ответов, точность, полнота и F1-мера.

Доля правильных ответов

Доля правильных ответов показывает отношение правильно предсказанных объектов к их общему числу:

Accuracy = (True Positives + True Negatives) / Total Instances

Хотя этот показатель полезен, одной доли правильных ответов может быть недостаточно для несбалансированных наборов данных.

Точность

Точность показывает, насколько правильными являются положительные предсказания:

Precision = True Positives / (True Positives + False Positives)

Высокая точность означает меньшее количество ложноположительных результатов.

Полнота

Полнота показывает способность модели правильно обнаруживать все положительные объекты:

Recall = True Positives / (True Positives + False Negatives)

Высокая полнота означает меньшее количество ложноотрицательных результатов.

F1-мера

F1-мера — это гармоническое среднее точности и полноты:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Она уравновешивает точность и полноту и особенно полезна для несбалансированных наборов данных.

Использование scikit-learn для вычисления метрик

Scikit-learn предоставляет функции для вычисления этих метрик:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Матрица ошибок

Матрица ошибок позволяет подробно оценить производительность модели:

• Истинно положительные (TP): Правильные положительные прогнозы.
• Ложно положительные (FP): Неправильные положительные прогнозы.
• Истинно отрицательные (TN): Правильные отрицательные прогнозы.
• Ложно отрицательные (FN): Неправильные отрицательные прогнозы.

Выбор подходящей метрики

Выбор метрики зависит от задачи:

• Доля правильных ответов: Хорошо подходит для сбалансированных наборов данных.
• Точность: Важна, когда ложно положительные результаты имеют высокую цену.
• Полнота: Критически важна, когда ложно отрицательные результаты имеют высокую цену.
• F1-мера: Сбалансированная метрика для несбалансированных наборов данных.

Итоги и дальнейшие шаги

В этом уроке мы рассмотрели:

• Метрики для оценки производительности модели: долю правильных ответов, точность, полноту и F1-меру.
• Способы вычисления этих метрик с помощью scikit-learn.
• Способы интерпретации матрицы ошибок.

Далее мы изучим методы обучения без учителя, например кластеризацию.