Создание словаря

Словарь — это полный набор уникальных слов, известных модели. Каждому слову соответствует одна фиксированная позиция в векторе каждого документа. 📖

Чтобы создать словарь, соберите все слова из документов и оставьте только различающиеся, удалив повторы.

Отсортируйте уникальные слова и назначьте каждому число. Это отображение слов в индексы — Ваш словарь для поиска.

Индекс указывает, какую позицию слово занимает в каждом векторе, поэтому cat всегда оказывается в одном и том же столбце.

Если в словаре 5000 слов, каждый документ превращается в вектор из 5000 чисел, по одной позиции на слово.

После создания отображение нельзя менять. Стабильный порядок гарантирует, что столбец 3 означает одно и то же слово для каждого документа.

Слово, которого нет в словаре, называется словом вне словаря. Проще всего игнорировать его при подсчёте.

Слова, встречающиеся один раз, добавляют шум и увеличивают размер. Удаление очень редких терминов делает словарь меньше и чище.

Можно также удалить слова, встречающиеся почти в каждом документе. Такие стоп-слова редко помогают отличать документы друг от друга.

Когда отображение создано, найти позицию слова можно мгновенно. Просто обратитесь к словарю по нужному слову.

Это отображение — основа векторизации. Далее Вы заполняете каждую позицию количеством вхождений этого слова в документе.

Вы создали словарь уникальных слов, сопоставили каждому фиксированный индекс и увидели, как удаление лишних слов делает его компактным и полезным. 🎉