Лемматизация: более умные начальные формы
Сведите слова к настоящим словарным формам
«Лемматизация: более умные начальные формы» — бесплатный урок NLP Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения NLP Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс NLP Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
A Smarter Reducer
Stemming chops blindly, but lemmatization reduces a word to its real dictionary base form, called the lemma. The result is always a proper word. 📖
Lemma vs Stem
Stemming turns studies into studi, but lemmatization returns the clean lemma study. That tidy, valid output is the big win of lemmatization.
It Uses a Vocabulary
A lemmatizer looks words up in a real vocabulary like WordNet. That lookup is what lets it know better is the base form better, not bett.
The WordNet Lemmatizer
NLTK provides the WordNetLemmatizer. Create one, then call lemmatize on a word to get its base form back.
from nltk.stem import WordNetLemmatizer
lem = WordNetLemmatizer()
print(lem.lemmatize('cars'))Part of Speech Matters
By default the lemmatizer assumes every word is a noun. So the verb running stays running unless you tell it the word is a verb.
print(lem.lemmatize('running'))Pass the Right Tag
Give it the pos argument to fix that. Telling the lemmatizer the word is a verb reduces running all the way down to its base form run.
print(lem.lemmatize('running', pos='v'))Irregular Forms Handled
Because it knows real grammar, the lemmatizer maps tricky words too. The verb went correctly becomes its base form go, something a stemmer cannot do.
print(lem.lemmatize('went', pos='v'))Adjectives and Plurals
It handles other word types as well. With the adjective tag, the lemmatizer turns better into its base form good.
print(lem.lemmatize('better', pos='a'))Lemmatize a Token List
Apply it across a document with a comprehension, just like stemming. Each token comes back as a clean, valid base form.
words = ['dogs', 'boxes', 'wishes']
print([lem.lemmatize(w) for w in words])Slower but Sharper
Lemmatization needs a dictionary and ideally part-of-speech tags, so it runs slower than stemming. You trade speed for cleaner, more accurate results. ⚖️
Which Should You Pick?
Use stemming for fast, large-scale search and lemmatization when readable, accurate base forms matter, like building features for a model.
Quick Check
Let's compare the two reducers.
Recap
You learned lemmatization uses a vocabulary and part-of-speech tags to return real base forms. It is slower than stemming but far cleaner. Great job! 🎉
Часто задаваемые вопросы
Урок «Лемматизация: более умные начальные формы» бесплатный?
Да — полный текст урока «Лемматизация: более умные начальные формы» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс NLP Academy, подпишись на CoddyKit PRO. Курс NLP Academy содержит 4 уроков всего.
Чему я научусь в уроке «Лемматизация: более умные начальные формы»?
Сведите слова к настоящим словарным формам Ты практикуешь NLP Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать NLP Academy?
Предыдущий опыт не требуется. NLP Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.
Сколько времени занимает урок «Лемматизация: более умные начальные формы»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке NLP Academy?
Да. Каждый урок NLP Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Почему важны регистр и пробелы
- Перевод в нижний регистр и удаление пробелов
- Стемминг: усечение до корня
- Лемматизация: более умные начальные формы