Penge-tokenan dan Penormalan

Tokenisasi dan Normalisasi

Prapemprosesan teks ialah langkah penting dalam NLP. Proses ini melibatkan penukaran teks mentah kepada format berstruktur untuk dianalisis. Langkah prapemprosesan utama termasuk tokenisasi dan normalisasi.

Tokenisasi ialah proses memecahkan teks kepada unit yang lebih kecil, yang dipanggil token. Token boleh berupa perkataan, ayat atau aksara.

Contohnya:

Teks: "NLP is amazing!"

Token: ["NLP", "is", "amazing", "!"]

Menggunakan pustaka NLTK, kami boleh membahagikan teks kepada perkataan atau ayat:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Normalisasi melibatkan pembersihan dan penyeragaman teks. Teknik normalisasi yang lazim termasuk:

• Penukaran kepada Huruf Kecil: Menukar semua teks kepada huruf kecil.
• Pembuangan Tanda Baca: Menghapuskan tanda baca.
• Pengakaran: Mengurangkan perkataan kepada bentuk akarnya, contohnya, "berlari" → "lari".
• Lemmatisasi: Mengurangkan perkataan kepada bentuk dasarnya menggunakan konteks, contohnya, "lebih baik" → "baik".

Beginilah cara menormalkan teks dengan menukarkannya kepada huruf kecil dan membuang tanda baca:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Pengakaran: Mengurangkan perkataan kepada akarnya dengan membuang imbuhan. Kaedah ini berasaskan peraturan dan mungkin tidak sentiasa menghasilkan perkataan yang sah.

Lemmatisasi: Menggunakan kosa kata dan peraturan tatabahasa untuk mengurangkan perkataan kepada bentuk dasar yang bermakna.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Kata henti ialah perkataan lazim seperti "ialah", "dan" serta "itu" yang sering tidak membawa makna penting. Membuangnya dapat memudahkan analisis teks:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Prapemprosesan teks boleh menjadi mencabar disebabkan oleh:

• Kekaburan: Perkataan seperti "bisa" boleh mempunyai pelbagai makna.
• Konteks: Lemmatisasi memerlukan pemahaman tentang konteks perkataan.
• Variasi Bahasa: Mengendalikan bahasa dan dialek yang berbeza.

Dalam pelajaran ini, kami:

• Mempelajari tokenisasi dan normalisasi.
• Meneroka teknik seperti pengakaran, lemmatisasi dan pembuangan kata henti.
• Mempraktikkan prapemprosesan teks dengan Python.

Seterusnya, kami akan menganalisis corak teks menggunakan model N-Gram.