Tokenisointi ja normalisointi

Tokenisointi ja normalisointi

Tekstin esikäsittely on NLP:n keskeinen vaihe. Siinä raakateksti muunnetaan jäsenneltyyn muotoon analyysia varten. Keskeisiä esikäsittelyvaiheita ovat tokenisointi ja normalisointi.

Tokenisointi tarkoittaa tekstin pilkkomista pienempiin yksiköihin, joita kutsutaan tokeneiksi. Tokenit voivat olla sanoja, lauseita tai merkkejä.

Esimerkiksi:

Teksti: "NLP is amazing!"

Tokenit: ["NLP", "is", "amazing", "!"]

NLTK-kirjaston avulla voimme tokenisoida tekstin sanoiksi tai lauseiksi:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Normalisointiin kuuluu tekstin puhdistaminen ja standardointi. Yleisiä normalisointitekniikoita ovat:

• Pieniksi kirjaimiksi muuttaminen: koko tekstin muuttaminen pienaakkosiksi.
• Välimerkkien poistaminen: välimerkkien poistaminen.
• Stemming: sanojen lyhentäminen juurimuotoon (esim. "running" → "run").
• Lemmatisointi: sanojen palauttaminen perusmuotoon asiayhteyden avulla (esim. "better" → "good").

Näin normalisoit tekstin muuttamalla sen pieniksi kirjaimiksi ja poistamalla välimerkit:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming: lyhentää sanat juurimuotoon katkaisemalla päätteet. Se perustuu sääntöihin, eikä tuloksena aina ole kelvollisia sanoja.

Lemmatisointi: käyttää sanastoa ja kielioppisääntöjä sanojen palauttamiseen niiden merkitykselliseen perusmuotoon.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Stop-sanat ovat yleisiä sanoja (esim. "is", "and" ja "the"), joilla ei usein ole merkittävää merkityssisältöä. Niiden poistaminen voi yksinkertaistaa tekstianalyysiä:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Tekstin esikäsittely voi olla haastavaa seuraavista syistä:

• Monimerkityksisyys: esimerkiksi sanalla "lead" voi olla useita merkityksiä.
• Asiayhteys: lemmatisointi edellyttää sanan asiayhteyden ymmärtämistä.
• Kielimuotojen vaihtelu: eri kielten ja murteiden käsitteleminen.

Tässä oppitunnissa:

• Opimme tokenisoinnista ja normalisoinnista.
• Tutustuimme tekniikoihin, kuten stemmingiin, lemmatisointiin ja stop-sanojen poistamiseen.
• Harjoittelimme tekstin esikäsittelyä Pythonilla.

Seuraavaksi analysoimme tekstin kuvioita N-grammimalleilla.