Tokenizacja i normalizacja

Wstępne przetwarzanie tekstu jest kluczowym etapem NLP. Polega na przekształcaniu surowego tekstu do ustrukturyzowanego formatu, który można poddać analizie. Najważniejsze etapy wstępnego przetwarzania to tokenizacja i normalizacja.

Czym jest tokenizacja?

Tokenizacja to proces dzielenia tekstu na mniejsze jednostki nazywane tokenami. Tokenami mogą być słowa, zdania lub znaki.

Na przykład:

Tekst: "NLP is amazing!"

Tokeny: ["NLP", "is", "amazing", "!"]

Przykład tokenizacji w Pythonie

Za pomocą biblioteki NLTK możemy przeprowadzić tokenizację tekstu na słowa lub zdania:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Czym jest normalizacja?

Normalizacja obejmuje czyszczenie i ujednolicanie tekstu. Typowe techniki normalizacji to:

• Konwersja na małe litery: przekształcanie całego tekstu na małe litery.
• Usuwanie znaków interpunkcyjnych: eliminowanie znaków interpunkcyjnych.
• Stemming: sprowadzanie słów do ich rdzenia przez usuwanie końcówek (np. "running" → "run").
• Lematyzacja: sprowadzanie słów do ich podstawowej formy z uwzględnieniem kontekstu (np. "better" → "good").

Konwersja na małe litery i usuwanie znaków interpunkcyjnych

Oto sposób normalizacji tekstu przez przekształcenie go na małe litery i usunięcie znaków interpunkcyjnych:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming i lematyzacja

Stemming: sprowadza słowa do ich rdzenia przez obcinanie przyrostków. Opiera się na regułach, dlatego nie zawsze generuje poprawne słowa.

Lematyzacja: wykorzystuje słownik i reguły gramatyczne, aby sprowadzić słowa do ich znaczącej formy podstawowej.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Usuwanie słów stop

Słowa stop to często używane słowa (np. "is", "and", "the"), które zazwyczaj nie niosą istotnego znaczenia. Ich usunięcie może uprościć analizę tekstu:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Wyzwania we wstępnym przetwarzaniu tekstu

Wstępne przetwarzanie tekstu może być trudne ze względu na:

• Wieloznaczność: słowa takie jak "lead" mogą mieć wiele znaczeń.
• Kontekst: lematyzacja wymaga zrozumienia kontekstu słowa.
• Zróżnicowanie językowe: obsługę różnych języków i dialektów.

Podsumowanie i dalsze kroki

W tej lekcji:

• Poznaliśmy tokenizację i normalizację.
• Poznaliśmy techniki takie jak stemming, lematyzacja i usuwanie słów stop.
• Przećwiczyliśmy wstępne przetwarzanie tekstu w Pythonie.

W następnej kolejności przeanalizujemy wzorce tekstowe za pomocą modeli n-gramowych.