Чтение предсказаний модели

Модель даёт Вам больше, чем один ответ. Умение анализировать её предсказания показывает не только, что она выбрала, но и насколько была уверена.

Вызов predict возвращает наиболее вероятный класс для каждого входного объекта. Это жёсткая метка: модель останавливается на одном ответе.

Используйте predict_proba, чтобы увидеть вероятность, назначенную каждому классу. Оценка спама 0,95 означает гораздо большую уверенность, чем пограничное значение 0,51.

Сумма вероятностей в каждой строке равна ровно 1. Модель распределяет всю свою уверенность между доступными классами — не больше и не меньше.

Столбцы вероятностей расположены в порядке, заданном атрибутом classes_. Проверьте этот атрибут, чтобы понимать, какой столбец означает спам, а какой — обычное сообщение.

Внутри модель работает с логарифмами, чтобы избежать потери точности из-за слишком малых чисел. Метод predict_log_proba предоставляет исходные логарифмические оценки, если они Вам нужны.

Высокая вероятность означает, что модель уверена в ответе, но не гарантирует его правильность. Наивный Байес может быть слишком самоуверенным, поэтому относитесь к его числам с разумной осторожностью.

Необязательно считать сообщение спамом уже при значении 0,5. Повышение порога до 0,8 уменьшит число ложных тревог, но позволит нескольким спам-сообщениям пройти.

Найдите входные данные, для которых модель была уверена, но ошиблась. Такие ошибки часто указывают на отсутствующие слова или метки, которые нужно исправить в данных.

Для наивного Байеса можно перечислить слова, которые подтолкнули сообщение в сторону спама. Такие свидетельства на уровне слов делают модель удивительно простой для объяснения. 🔎

Вероятности позволяют сортировать объекты по риску, передавать сомнительные случаи специалисту и задавать разумные пороги. Умение читать их превращает модель в настоящий инструмент.

Вы перешли от жёстких меток к анализу вероятностей, проверке порядка классов, настройке порогов и объяснению решений. Так Вы учитесь доверять классификатору. ✅