Токенизация и нормализация

Токенизация и нормализация

Предварительная обработка текста — важный этап NLP. Она включает преобразование исходного текста в структурированный формат для анализа. Ключевые этапы предварительной обработки — токенизация и нормализация.

Что такое токенизация?

Токенизация — это процесс разбиения текста на более мелкие единицы, называемые токенами. Токенами могут быть слова, предложения или символы.

Например:

Текст: "NLP is amazing!"

Токены: ["NLP", "is", "amazing", "!"]

С помощью библиотеки NLTK можно разбивать текст на токены-слова или токены-предложения:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Что такое нормализация?

Нормализация включает очистку и стандартизацию текста. К распространённым методам нормализации относятся:

• Приведение к нижнему регистру: Преобразование всего текста в нижний регистр.
• Удаление знаков препинания: Устранение знаков препинания.
• Стемминг: Сведение слов к их основе (например, "running" → "run").
• Лемматизация: Сведение слов к начальной форме с учётом контекста (например, "better" → "good").

Ниже показано, как нормализовать текст, преобразовав его в нижний регистр и удалив знаки препинания:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Стемминг: Сводит слова к их основе, отбрасывая суффиксы. Он основан на правилах и не всегда позволяет получить существующие слова.

Лемматизация: Использует словарь и грамматические правила, чтобы свести слова к их осмысленной начальной форме.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Стоп-слова — это распространённые слова (например, "is", "and", "the"), которые часто не несут существенного смысла. Их удаление может упростить анализ текста:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Предварительная обработка текста может быть сложной из-за следующих факторов:

• Неоднозначность: Такие слова, как "lead", могут иметь несколько значений.
• Контекст: Для лемматизации необходимо понимать контекст слова.
• Языковое разнообразие: Необходимо учитывать разные языки и диалекты.

В этом уроке мы:

• узнали о токенизации и нормализации;
• изучили такие методы, как стемминг, лемматизация и удаление стоп-слов;
• потренировались выполнять предварительную обработку текста с помощью Python.

Далее мы проанализируем закономерности текста с помощью моделей N-грамм.