Масштабирование и отбор признаков

Текстовые модели могут разрастись до десятков тысяч признаков. Многие из них добавляют только шум, поэтому сокращение списка часто повышает и скорость, и точность.

Некоторые модели напрямую сравнивают величины признаков. Если один признак принимает значения от 0 до 1000, он может заглушить остальные, если сначала не масштабировать их.

StandardScaler сдвигает каждый признак к нулевому среднему и единичной дисперсии. Теперь все числовые признаки выражены в одном масштабе.

Центрирование разреженной матрицы TF-IDF заполняет её ненулевыми значениями и расходует память впустую. Используйте MaxAbsScaler, который масштабирует данные, не разрушая разреженность.

Признаки, которые почти не меняются, ничего не сообщают модели. Фильтр VarianceThreshold удаляет почти постоянные столбцы за один быстрый проход.

SelectKBest оставляет лучшие признаки по результатам проверочного теста, например хи-квадрат. Вы задаёте число k, а он удаляет остальные.

Модель со штрафом L1 самостоятельно сводит бесполезные веса к нулю. Такой встроенный отбор часто называют встроенным отбором признаков.

Всегда обучайте средства масштабирования и отбора только на обучающих данных, а затем применяйте их к тестовым данным. Их смешивание приводит к утечке и неоправданно высоким результатам.

Размещение масштабирования и отбора внутри Pipeline каждый раз выполняет их в правильном порядке. Это также предотвращает случайную утечку во время проверки.

Компактный набор признаков быстрее обучается, требует меньше памяти и его проще объяснить. После удаления шума меньший набор часто оказывается лучше. ⚡

Попробуйте несколько значений k и сравните оценки на проверочных данных. Пусть количество признаков, которые нужно сохранить, определяют числа, а не догадка.

Масштабируйте числовые признаки и отбирайте полезные с помощью SelectKBest или L1. Для разреженных данных используйте MaxAbsScaler, а всё обучение выполняйте внутри конвейера. ✅