Проверка самых сильных коэффициентов

Одно из преимуществ логистической регрессии — прозрачность. Её обученные коэффициенты точно показывают, какие слова смещают документ к каждому классу. 🔍

После обучения веса находятся в clf.coef_ — по одному числу на каждое слово словаря. Этот массив лежит в основе рассуждений модели.

Соответствующие слова хранятся в преобразователе. Вызов get_feature_names_out возвращает термин для каждой позиции коэффициента.

Объедините два массива попарно, чтобы рядом с каждым словом оказался его вес. Теперь Вы можете отсортировать их и прочитать, чему научилась модель.

Большой положительный коэффициент означает, что слово сильно говорит в пользу положительного класса, например слово, указывающее на спам в фильтре спама.

Сильно отрицательный коэффициент смещает решение к другому классу. Эти слова являются самым явным свидетельством против положительной метки.

Отсортируйте пары по весу, чтобы найти наиболее влиятельные термины. Крайние значения с обеих сторон — это слова, которые действительно определяют предсказания.

Выведите пять самых больших и пять самых маленьких весов. Такое небольшое резюме часто показывает, на что на самом деле обращает внимание модель.

Имеют ли главные слова смысл? Если модель тональности высоко оценивает слово fantastic, такая интуитивная проверка подтверждает, что модель научилась чему-то реальному.

Странные главные слова могут выявить утечку данных, например случайно попавший идентификатор, или нежелательное смещение. Проверка коэффициентов помогает обнаружить это до выпуска модели.

Чем дальше вес находится от нуля, тем больше влияние этого слова. Коэффициенты, близкие к нулю, почти не влияют на предсказания.

Свяжите слова из преобразователя со значениями в coef_, а затем отсортируйте их. Самые большие коэффициенты показывают, чему научилась модель, и помогают рано обнаружить ошибки. ✅