Tokenisering och normalisering

Tokenisering och normalisering

Textförbehandling är ett viktigt steg inom NLP. Det innebär att omvandla råtext till ett strukturerat format för analys. Viktiga steg i förbehandlingen är tokenisering och normalisering.

Tokenisering är processen att dela upp text i mindre enheter som kallas token. Tokener kan vara ord, meningar eller tecken.

Exempel:

Text: "NLP is amazing!"

Tokener: ["NLP", "is", "amazing", "!"]

Med hjälp av biblioteket NLTK kan vi tokenisera text till ord eller meningar:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Normalisering innebär att rensa och standardisera text. Vanliga normaliseringstekniker är:

• Konvertering till gemener: Att konvertera all text till gemener.
• Borttagning av skiljetecken: Att ta bort skiljetecken.
• Stemming: Att reducera ord till deras stamform genom att till exempel ta bort suffix (t.ex. "running" → "run").
• Lemmatisering: Att reducera ord till deras grundform med hjälp av sammanhanget (t.ex. "better" → "good").

Så här normaliserar du text genom att konvertera den till gemener och ta bort skiljetecken:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming: Reducerar ord till deras stam genom att ta bort suffix. Metoden är regelbaserad och ger inte alltid giltiga ord.

Lemmatisering: Använder ett ordförråd och grammatiska regler för att reducera ord till deras betydelsefulla grundform.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Stoppord är vanliga ord (t.ex. "is", "and", "the") som ofta inte har någon betydande innebörd. Att ta bort dem kan förenkla textanalysen:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Textförbehandling kan vara utmanande på grund av:

• Tvetydighet: Ord som "lead" kan ha flera betydelser.
• Sammanhang: Lemmatisering kräver att man förstår ordets sammanhang.
• Språklig variation: Att hantera olika språk och dialekter.

I den här lektionen har vi:

• Lärt oss om tokenisering och normalisering.
• Utforskat tekniker som stemming, lemmatisering och borttagning av stoppord.
• Övat på textförbehandling med Python.

Härnäst ska vi analysera textmönster med hjälp av N-grammodeller.