Tokenizacja i normalizacja

Wstępne przetwarzanie tekstu to kluczowy etap w NLP. Polega na przekształceniu surowego tekstu do ustrukturyzowanego formatu na potrzeby analizy. Najważniejsze kroki wstępnego przetwarzania to tokenizacja i normalizacja.

Czym jest tokenizacja?

Tokenizacja to proces dzielenia tekstu na mniejsze jednostki nazywane tokenami. Tokenami mogą być słowa, zdania lub znaki.

Na przykład:

Tekst: "NLP is amazing!"

Tokeny: ["NLP", "is", "amazing", "!"]

Przykład tokenizacji w Pythonie

Korzystając z biblioteki NLTK, można tokenizować tekst na słowa lub zdania:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Czym jest normalizacja?

Normalizacja obejmuje czyszczenie i ujednolicanie tekstu. Typowe techniki normalizacji to:

• Zamiana na małe litery: Przekształcanie całego tekstu na małe litery.
• Usuwanie znaków interpunkcyjnych: Eliminowanie znaków interpunkcyjnych.
• Stemming: Sprowadzanie słów do ich rdzenia przez obcinanie końcówek (np. "running" → "run").
• Lematyzacja: Sprowadzanie słów do formy podstawowej z użyciem kontekstu (np. "better" → "good").

Zamiana na małe litery i usuwanie znaków interpunkcyjnych

Oto jak znormalizować tekst, zamieniając go na małe litery i usuwając znaki interpunkcyjne:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming i lematyzacja

Stemming: Sprowadza słowa do ich rdzenia przez obcinanie końcówek. Opiera się na regułach i nie zawsze tworzy poprawne słowa.

Lematyzacja: Korzysta ze słownika i reguł gramatycznych, aby sprowadzić słowa do mającej znaczenie formy podstawowej.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Usuwanie słów stop

Słowa stop to często występujące słowa (np. "is", "and", "the"), które często nie niosą istotnego znaczenia. Ich usunięcie może uprościć analizę tekstu:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Wyzwania związane ze wstępnym przetwarzaniem tekstu

Wstępne przetwarzanie tekstu może być trudne ze względu na:

• Niejednoznaczność: Słowa takie jak "lead" mogą mieć wiele znaczeń.
• Kontekst: Lematyzacja wymaga zrozumienia kontekstu słowa.
• Zróżnicowanie językowe: Obsługa różnych języków i dialektów.

Podsumowanie i kolejne kroki

W tej lekcji:

• Poznaliśmy tokenizację i normalizację.
• Przeanalizowaliśmy techniki takie jak stemming, lematyzacja i usuwanie stop words.
• Przećwiczyliśmy wstępne przetwarzanie tekstu w Pythonie.

Następnie przeanalizujemy wzorce tekstowe za pomocą modeli N-Gram.