Tokenisierung und Normalisierung

Textvorverarbeitung ist ein entscheidender Schritt im NLP. Dabei wird Rohtext für die Analyse in ein strukturiertes Format umgewandelt. Zu den wichtigsten Schritten der Vorverarbeitung gehören Tokenisierung und Normalisierung.

Was ist Tokenisierung?

Tokenisierung bezeichnet den Prozess, Text in kleinere Einheiten, sogenannte Tokens, zu zerlegen. Tokens können Wörter, Sätze oder Zeichen sein.

Beispiel:

Text: "NLP is amazing!"

Tokens: ["NLP", "is", "amazing", "!"]

Beispiel für Tokenisierung in Python

Mit der NLTK-Bibliothek können wir Text in Wörter oder Sätze tokenisieren:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Was ist Normalisierung?

Bei der Normalisierung wird Text bereinigt und vereinheitlicht. Zu den gängigen Normalisierungstechniken gehören:

• Umwandlung in Kleinbuchstaben: Den gesamten Text in Kleinbuchstaben umwandeln.
• Entfernen von Satzzeichen: Satzzeichen beseitigen.
• Stemming: Wörter auf ihre Grundform reduzieren (z. B. „laufend“ → „lauf“).
• Lemmatization: Wörter mithilfe des Kontexts auf ihre lexikalische Grundform reduzieren (z. B. „besser“ → „gut“).

Kleinschreibung und Entfernen von Satzzeichen

So normalisieren Sie Text, indem Sie ihn in Kleinbuchstaben umwandeln und Satzzeichen entfernen:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming und Lemmatization

Stemming: Reduziert Wörter, indem Endungen abgeschnitten werden, auf ihre Wortwurzel. Dieses Verfahren basiert auf Regeln und erzeugt möglicherweise nicht immer gültige Wörter.

Lemmatization: Verwendet ein Vokabular und grammatische Regeln, um Wörter auf ihre bedeutungstragende Grundform zu reduzieren.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Entfernen von Stoppwörtern

Stoppwörter sind häufig vorkommende Wörter (z. B. „ist“, „und“, „der“), die oft keine wesentliche Bedeutung tragen. Durch das Entfernen dieser Wörter lässt sich die Textanalyse vereinfachen:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Herausforderungen bei der Textvorverarbeitung

Die Textvorverarbeitung kann aus folgenden Gründen anspruchsvoll sein:

• Mehrdeutigkeit: Wörter wie „Bank“ können mehrere Bedeutungen haben.
• Kontext: Für die Lemmatization muss der Kontext des Wortes verstanden werden.
• Sprachliche Vielfalt: Verschiedene Sprachen und Dialekte müssen verarbeitet werden.

Zusammenfassung und nächste Schritte

In dieser Lektion haben wir:

• Tokenisierung und Normalisierung kennengelernt.
• Techniken wie Stemming, Lemmatisierung und das Entfernen von Stoppwörtern untersucht.
• Textvorverarbeitung mit Python geübt.

Als Nächstes analysieren wir Textmuster mithilfe von N-Gramm-Modellen.