Выбор подходящего диапазона N-грамм

Выбор диапазона n-грамм требует баланса. Больший контекст помогает модели, но может перегрузить её признаками и шумом.

Каждый шаг увеличения n может многократно расширить словарь. Такое разрастание признаков означает более медленное обучение и повышенное потребление памяти.

Длинные n-граммы часто встречаются один раз и больше не повторяются. Такие редкие признаки плохо обобщаются и могут склонить модель к переобучению.

Отличный первый вариант — (1, 2): униграммы плюс биграммы. Он учитывает отрицание и короткие фразы, не вызывая взрывного роста числа признаков.

Используйте (1, 3) только тогда, когда важны устойчивые фразы из трёх слов, например название продукта. В противном случае дополнительные столбцы редко окупаются.

Задайте min_df, чтобы грамма учитывалась только после появления в нескольких документах. Так незаметно удаляются единичные фразы, которые лишь добавляют шум.

Можно также задать векторизатору ограничение. max_features оставляет только наиболее частотные термины, сохраняя фиксированную ширину матрицы.

Не пытайтесь гадать бесконечно. Попробуйте несколько диапазонов и сравните оценки на проверочных данных. Данные покажут, где прирост перестаёт быть заметным.

Передайте ngram_range в поиск по сетке и позвольте scikit-learn проверить диапазоны за Вас, выбрав вариант с наилучшей оценкой при перекрёстной проверке.

Если точность на обучении резко растёт, а на проверочных данных отстаёт, Ваш диапазон может быть слишком широким. Уменьшение n часто обеспечивает лучшее обобщение на новом тексте.

Для большинства задач обработки текста ngram_range (1, 2) с небольшим min_df — это надёжный и быстрый базовый вариант. Расширяйте диапазон только при наличии подтверждений.

Начните с (1, 2), сокращайте признаки с помощью min_df, ограничивайте их количество через max_features и позвольте проверочным данным выбрать лучший вариант. Теперь Вы умеете моделировать контекст с помощью n-грамм. 🚀