Model N-Gram

Model N-Gram

Model N-Gram ialah konsep asas dalam NLP. Model ini menganalisis urutan perkataan atau aksara untuk mengenal pasti corak dan hubungan dalam teks.

N-Gram ialah urutan bersebelahan yang terdiri daripada N unsur, iaitu perkataan atau aksara, daripada teks tertentu.

N-Gram ditakrifkan oleh nilai N:

• N-Gram Tunggal (N=1): Satu perkataan, contohnya, "I", "like" dan "NLP".
• N-Gram Berpasangan (N=2): Pasangan perkataan, contohnya, "I like" dan "like NLP".
• N-Gram Tiga Serangkai (N=3): Tiga perkataan berturutan, contohnya, "I like NLP".

Kami boleh menggunakan Python untuk menjana N-Gram daripada teks:

from nltk import ngrams

# Example text
text = "I love natural language processing"

# Tokenize text
tokens = text.split()

# Generate bigrams
bigrams = list(ngrams(tokens, 2))
print("Bigrams:", bigrams)

# Generate trigrams
trigrams = list(ngrams(tokens, 3))
print("Trigrams:", trigrams)

Model N-Gram digunakan dalam:

• Pemodelan Bahasa: Meramalkan perkataan seterusnya dalam sesuatu urutan.
• Penjanaan Teks: Mencipta ayat atau perenggan yang padu.
• Pembetulan Ejaan: Mengenal pasti urutan perkataan yang berkemungkinan.

Kami boleh menganalisis kekerapan N-Gram untuk mengenal pasti corak lazim dalam teks:

from collections import Counter

# Example text
text = "I love NLP. NLP is amazing. I love learning NLP."

# Tokenize and generate bigrams
tokens = text.split()
bigrams = list(ngrams(tokens, 2))

# Count bigram frequency
bigram_freq = Counter(bigrams)
print("Bigram Frequencies:", bigram_freq.most_common())

Model N-Gram mempunyai beberapa kelebihan:

• Mudah dan senang dilaksanakan.
• Berguna untuk analisis asas corak teks.
• Menyediakan asas untuk model NLP yang lebih maju.

Walaupun berguna, model N-Gram mempunyai beberapa batasan:

• Sukar mengendalikan kebergantungan jarak jauh dalam teks.
• Memerlukan jumlah data yang besar untuk nilai N yang tinggi.
• Menghasilkan teks berulang atau tidak koheren untuk urutan yang panjang.

N-Gram digunakan dalam:

• Pelengkapan Automatik: Meramalkan perkataan seterusnya dalam enjin carian.
• Pengesanan Plagiarisme: Mengenal pasti corak perkataan yang bertindih.
• Pengecaman Pertuturan: Mengecam urutan perkataan yang lazim.

Dalam pelajaran ini, kami:

• Memperkenalkan model N-Gram dan jenis-jenisnya.
• Menjana N-Gram dalam Python dan menganalisis kekerapannya.
• Membincangkan kelebihan, batasan dan aplikasi model N-Gram.

Seterusnya, kami akan meneroka analisis sentimen dan mempelajari cara menentukan sentimen data teks.