Создание первой таблицы частотности слов
Подсчитайте, как часто встречается каждое слово
«Создание первой таблицы частотности слов» — бесплатный урок NLP Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения NLP Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс NLP Academy содержит 4 уроков всего.
Что такое таблица частот
Таблица частот сопоставляет каждому слову количество его появлений. Это основа почти любого анализа текста. 📊
Начните с токенов
Сначала превратите текст в список слов, а затем приведите их к нижнему регистру, чтобы The и the считались одним и тем же токеном.
words = text.lower().split()Подсчёт с помощью словаря
Словарь Python хранит пары «слово — количество». Вы перебираете слова и каждый раз прибавляете единицу, когда встречается слово.
freq = {}
for w in words:
freq[w] = freq.get(w, 0) + 1Приём с get
Использование get со значением по умолчанию, равным нулю, предотвращает ошибки при первом появлении слова. Это делает цикл понятнее.
freq[w] = freq.get(w, 0) + 1Counter сделает всё за Вас
Класс Counter из collections создаёт всю таблицу в одной строке, поэтому писать цикл вручную не требуется.
from collections import Counter
freq = Counter(words)Поиск слова
Когда таблица готова, получить количество можно мгновенно. Просто обратитесь к слову по индексу — и получите его частоту.
print(freq["the"]) # how many times the appearsПоиск самых частотных слов
Метод most_common у Counter возвращает самые частотные слова и их количества, уже отсортированные от большего к меньшему.
print(freq.most_common(3))Стоп-слова преобладают
В начале почти любой таблицы находятся стоп-слова, например the, of и a. Они встречаются часто, но несут мало смысла.
Сортировка собственного словаря
Чтобы упорядочить обычный словарь, отсортируйте его элементы по значению. Функция sorted с ключом задаёт нужный порядок.
ranked = sorted(freq.items(), key=lambda x: x[1], reverse=True)Частоты лежат в основе функций
Эта таблица — основа модели «мешок слов», в которой количества слов превращаются в числа, обрабатываемые моделями машинного обучения.
Цикл для вывода таблицы
Переберите элементы, чтобы вывести каждое слово рядом с его количеством и получить удобную сводку документа.
for word, n in freq.items():
print(word, n)Быстрая проверка
Выберите самый быстрый способ создать таблицу подсчёта слов.
Итоги: Ваша таблица частот
Вы создали таблицу частот с помощью словаря или Counter, упорядочили самые частотные слова и увидели, как подсчёты становятся признаками модели «мешок слов». 🎉
Изучай Python с ИИ-репетитором — бесплатно
Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.
- Курсы
- 30
- Уроки
- 120
Часто задаваемые вопросы
Урок «Создание первой таблицы частотности слов» бесплатный?
Да — полный текст урока «Создание первой таблицы частотности слов» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс NLP Academy, подпишись на CoddyKit PRO. Курс NLP Academy содержит 4 уроков всего.
Чему я научусь в уроке «Создание первой таблицы частотности слов»?
Подсчитайте, как часто встречается каждое слово Ты практикуешь NLP Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать NLP Academy?
Предыдущий опыт не требуется. NLP Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.
Сколько времени занимает урок «Создание первой таблицы частотности слов»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке NLP Academy?
Да. Каждый урок NLP Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Строки, символы и кодировки
- Чтение текстовых файлов в Python
- Подсчёт слов и символов
- Создание первой таблицы частотности слов