Поиск самых важных слов

Матрица TF-IDF заполнена числами, но настоящая польза заключается в их интерпретации. Слова с самыми высокими оценками показывают, о чём действительно каждый документ.

Каждая строка матрицы соответствует одному документу, а каждый столбец — одному слову. Чтобы найти ключевые термины, просмотрите одну строку и найдите в ней самые высокие значения.

Выберите нужный документ и преобразуйте его в плоский массив. Этот вектор содержит вес TF-IDF для каждого слова в словаре.

Свяжите каждый вес с соответствующим словом с помощью названий признаков. Теперь каждая оценка относится к своему термину.

Отсортируйте эти пары от самой высокой оценки к самой низкой. Слова, оказавшиеся наверху, — наиболее характерные термины этого документа.

Обычно достаточно небольшой подборки. Срез первых результатов даёт быстрое и понятное человеку резюме документа. 🏆

Эти первые термины можно автоматически использовать как ключевые слова для тегирования, поиска или быстрого создания тематической метки без ручной работы.

Примените тот же приём к каждой строке — и получите отпечаток каждого документа. Сравнение этих отпечатков показывает, какие тексты похожи.

Если странные токены получают высокие оценки, сначала нужно лучше очистить текст. Хорошие ключевые слова зависят от качественной предварительной обработки перед применением TF-IDF.

Измерение совпадения между двумя векторами TF-IDF позволяет создать простой поиск по сходству. Документы, в которых встречаются слова с большими весами, считаются близкими совпадениями.

Всего за несколько строк вы теперь можете извлекать слова, определяющие любой документ. Такой извлекатель ключевых слов — действительно полезный инструмент обработки естественного языка. ⭐

Вы отсортировали строку TF-IDF, сопоставили оценки со словами и выбрали первые ключевые слова. Та же идея лежит в основе тегирования и поиска по сходству. ✅