Почему отдельные слова теряют смысл

До сих пор вы рассматривали текст как набор отдельных слов. Но смысл часто заключается в том, как слова расположены рядом друг с другом, а не в каждом слове по отдельности.

Модель мешка слов отбрасывает порядок. Для неё два предложения ниже одинаковы, хотя их смысл противоположен. 😮

Представьте отзыв с фразой not bad. Отдельное слово bad выглядит отрицательным, но пара слов превращает смысл в умеренно положительный.

Когда вы считаете слова по одному, слово not остаётся без связи с остальными. Модель не узнаёт, какое слово оно на самом деле отрицало.

Живой язык полон фраз, таких как new york или machine learning. Если разделить их, теряется понятие, которое они обозначают вместе.

Сравните dog bites man и man bites dog. Те же три слова, но совершенно разные новости. Порядок несёт информацию, а отдельные слова её отбрасывают.

n-грамма — это короткая непрерывная последовательность из n слов. Это самый простой способ объединить соседние слова и сохранить немного локального контекста.

Одно слово — это униграмма, то есть n-грамма размера один. Значит, модель мешка слов всё это время фактически была моделью n-грамм.

Увеличьте размер до двух — и not bad станет одним признаком. Теперь модель сможет понять, что эта пара имеет положительный оттенок.

Представьте небольшое окно, которое шаг за шагом движется по тексту и захватывает каждую группу соседних слов.

n-граммы не понимают грамматику. Они просто сохраняют, какие слова встречаются вместе, и эта небольшая подсказка улучшает многие задачи обработки естественного языка.

Отдельные слова игнорируют порядок, поэтому отрицания и фразы теряются. N-граммы сохраняют соседние слова вместе и возвращают локальный контекст. Далее вы узнаете, как их называть. ✨