Tokenisatie en normalisatie

Tokenisatie en normalisatie

Tekstvoorbewerking is een essentiële stap in NLP. Hierbij wordt onbewerkte tekst omgezet naar een gestructureerd formaat voor analyse. Belangrijke stappen bij de voorbewerking zijn tokenisatie en normalisatie.

Tokenisatie is het proces waarbij tekst wordt opgedeeld in kleinere eenheden, die tokens worden genoemd. Tokens kunnen woorden, zinnen of tekens zijn.

Bijvoorbeeld:

Tekst: "NLP is amazing!"

Tokens: ["NLP", "is", "amazing", "!"]

Met de NLTK-bibliotheek kunnen we tekst tokeniseren in woorden of zinnen:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Bij normalisatie wordt tekst opgeschoond en gestandaardiseerd. Veelgebruikte technieken voor normalisatie zijn:

• Omzetten naar kleine letters: alle tekst omzetten naar kleine letters.
• Leestekens verwijderen: leestekens weghalen.
• Stemming: woorden terugbrengen tot hun stamvorm, bijvoorbeeld "rennen" → "ren".
• Lemmatisering: woorden met behulp van de context terugbrengen tot hun grondvorm, bijvoorbeeld "beter" → "goed".

Zo normaliseer je tekst door deze om te zetten naar kleine letters en leestekens te verwijderen:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming: brengt woorden terug tot hun stam door achtervoegsels af te kappen. Dit gebeurt op basis van regels en levert niet altijd bestaande woorden op.

Lemmatisering: gebruikt een woordenlijst en grammaticaregels om woorden terug te brengen tot hun betekenisvolle grondvorm.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Stopwoorden zijn veelvoorkomende woorden, zoals "is", "en" en "de", die vaak geen belangrijke betekenis dragen. Door ze te verwijderen, kun je tekstanalyse vereenvoudigen:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Tekstvoorbewerking kan lastig zijn door:

• Dubbelzinnigheid: woorden zoals "bank" kunnen meerdere betekenissen hebben.
• Context: voor lemmatisering is inzicht in de context van een woord nodig.
• Taalvariatie: omgaan met verschillende talen en dialecten.

In deze les hebben we:

• Geleerd wat tokenisatie en normalisatie zijn.
• Technieken zoals stemming, lemmatisering en het verwijderen van stopwoorden verkend.
• Tekstvoorbewerking met Python geoefend.

Vervolgens analyseren we tekstpatronen met N-grammodellen.