Tokenisering og normalisering

Tokenisering og normalisering

Tekstforbehandling er et afgørende trin i NLP. Det indebærer, at rå tekst omdannes til et struktureret format til analyse. De vigtigste trin i forbehandlingen omfatter tokenisering og normalisering.

Tokenisering er processen, hvor tekst opdeles i mindre enheder, der kaldes tokens. Tokens kan være ord, sætninger eller tegn.

Eksempel:

Tekst: "NLP is amazing!"

Tokens: ["NLP", "is", "amazing", "!"]

Med NLTK-biblioteket kan vi tokenisere tekst til ord eller sætninger:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Normalisering indebærer rengøring og standardisering af tekst. Almindelige normaliseringsteknikker omfatter:

• Konvertering til små bogstaver: Omdannelse af al tekst til små bogstaver.
• Fjernelse af tegnsætning: Fjernelse af tegnsætningstegn.
• Stemming: Reduktion af ord til deres rodform (f.eks. "løbende" → "løb").
• Lemmatisering: Reduktion af ord til deres grundform ved hjælp af kontekst (f.eks. "bedre" → "god").

Sådan normaliserer du tekst ved at konvertere den til små bogstaver og fjerne tegnsætning:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming: Reducerer ord til deres rod ved at fjerne endelser. Metoden er regelbaseret og giver ikke altid gyldige ord.

Lemmatisering: Bruger et ordforråd og grammatiske regler til at reducere ord til deres meningsfulde grundform.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Stopord er almindelige ord (f.eks. "er", "og", "den"), som ofte ikke har nogen væsentlig betydning. Hvis de fjernes, kan tekstanalysen forenkles:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Tekstforbehandling kan være vanskelig på grund af:

• Tvetydighed: Ord som "føre" kan have flere betydninger.
• Kontekst: Lemmatisering kræver forståelse af ordets kontekst.
• Sproglig variation: Håndtering af forskellige sprog og dialekter.

I denne lektion har vi:

• Lært om tokenisering og normalisering.
• Undersøgt teknikker som stemming, lemmatisering og fjernelse af stopord.
• Øvet tekstforbehandling med Python.

Derefter analyserer vi tekstmønstre ved hjælp af N-gram-modeller.