Tokenisering og normalisering

Tokenisering og normalisering

Tekstforbehandling er et viktig trinn i NLP. Det innebærer å omforme råtekst til et strukturert format for analyse. Viktige trinn i forbehandlingen er tokenisering og normalisering.

Tokenisering er prosessen med å dele opp tekst i mindre enheter som kalles token. Token kan være ord, setninger eller tegn.

For eksempel:

Tekst: "NLP is amazing!"

Token: ["NLP", "is", "amazing", "!"]

Ved hjelp av NLTK-biblioteket kan vi tokenisere tekst til ord eller setninger:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Normalisering innebærer å rense og standardisere tekst. Vanlige teknikker for normalisering omfatter:

• Konvertering til små bokstaver: Konvertering av all tekst til små bokstaver.
• Fjerning av tegnsetting: Fjerning av tegn for tegnsetting.
• Stemming: Reduksjon av ord til rotformen deres (for eksempel "løping" → "løp").
• Lemmatisering: Reduksjon av ord til grunnformen ved hjelp av kontekst (for eksempel "bedre" → "god").

Slik normaliserer vi tekst ved å konvertere den til små bokstaver og fjerne tegnsetting:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming: Reduserer ord til roten ved å fjerne endelser. Metoden er regelbasert og gir ikke alltid gyldige ord.

Lemmatisering: Bruker et ordforråd og grammatiske regler for å redusere ord til deres meningsfulle grunnform.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Stoppord er vanlige ord (for eksempel "er", "og" og "den") som ofte ikke har vesentlig betydning. Fjerning av dem kan forenkle tekstanalyse:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Tekstforbehandling kan være utfordrende på grunn av:

• Tvetydighet: Ord som "lead" kan ha flere betydninger.
• Kontekst: Lemmatisering krever forståelse av ordets kontekst.
• Språklig variasjon: Håndtering av ulike språk og dialekter.

I denne leksjonen har vi:

• Lært om tokenisering og normalisering.
• Utforsket teknikker som stemming, lemmatisering og fjerning av stoppord.
• Øvd på tekstforbehandling med Python.

Deretter skal vi analysere tekstmønstre ved hjelp av N-gram-modeller.