Model N-Gram

Kita boleh menggunakan Python untuk menjana N-Gram daripada teks:

from nltk import ngrams

# Example text
text = "I love natural language processing"

# Tokenize text
tokens = text.split()

# Generate bigrams
bigrams = list(ngrams(tokens, 2))
print("Bigrams:", bigrams)

# Generate trigrams
trigrams = list(ngrams(tokens, 3))
print("Trigrams:", trigrams)

Model N-Gram digunakan dalam:

• Pemodelan Bahasa: Meramalkan perkataan seterusnya dalam sesuatu jujukan.
• Penjanaan Teks: Menghasilkan ayat atau perenggan yang koheren.
• Pembetulan Ejaan: Mengenal pasti jujukan perkataan yang berkemungkinan.

Kita boleh menganalisis kekerapan N-Gram untuk mengenal pasti corak lazim dalam teks:

from collections import Counter

# Example text
text = "I love NLP. NLP is amazing. I love learning NLP."

# Tokenize and generate bigrams
tokens = text.split()
bigrams = list(ngrams(tokens, 2))

# Count bigram frequency
bigram_freq = Counter(bigrams)
print("Bigram Frequencies:", bigram_freq.most_common())

Model N-Gram mempunyai beberapa kelebihan:

• Mudah dan senang dilaksanakan.
• Berguna untuk analisis asas corak teks.
• Menjadi asas untuk model NLP yang lebih canggih.

Walaupun berguna, model N-Gram mempunyai beberapa batasan:

• Sukar mengendalikan kebergantungan jarak jauh dalam teks.
• Memerlukan jumlah data yang besar untuk nilai N yang tinggi.
• Menghasilkan teks berulang atau tidak koheren bagi jujukan yang panjang.

N-Gram digunakan dalam:

• Autolengkap: Meramalkan perkataan seterusnya dalam enjin carian.
• Pengesanan Plagiarisme: Mengenal pasti corak perkataan yang bertindih.
• Pengecaman Pertuturan: Mengecam jujukan perkataan yang lazim.

Dalam pelajaran ini, kami:

• Memperkenalkan model N-Gram dan jenis-jenisnya.
• Menjana N-Gram dalam Python dan menganalisis kekerapannya.
• Membincangkan kelebihan, batasan dan aplikasi model N-Gram.

Seterusnya, kami akan meneroka analisis sentimen dan mempelajari cara menentukan sentimen data teks.