Model N-Gram

Model N-Gram merupakan konsep dasar dalam NLP. Model ini menganalisis rangkaian kata atau karakter untuk mengidentifikasi pola dan hubungan dalam teks.

N-Gram adalah rangkaian berurutan yang terdiri atas N elemen (kata atau karakter) dari teks tertentu.

Apa itu N-Gram?

N-Gram ditentukan berdasarkan nilai N:

• Unigram (N=1): Kata tunggal (misalnya, "Saya", "suka", "NLP").
• Bigram (N=2): Pasangan kata (misalnya, "Saya suka", "suka NLP").
• Trigram (N=3): Tiga kata berurutan (misalnya, "Saya suka NLP").

Membuat N-Gram dalam Python

Kita dapat menggunakan Python untuk membuat N-Gram dari sebuah teks:

from nltk import ngrams

# Example text
text = "I love natural language processing"

# Tokenize text
tokens = text.split()

# Generate bigrams
bigrams = list(ngrams(tokens, 2))
print("Bigrams:", bigrams)

# Generate trigrams
trigrams = list(ngrams(tokens, 3))
print("Trigrams:", trigrams)

Penerapan Model N-Gram

Model N-Gram digunakan dalam:

• Pemodelan Bahasa: Memprediksi kata berikutnya dalam suatu rangkaian.
• Pembuatan Teks: Membuat kalimat atau paragraf yang padu.
• Koreksi Ejaan: Mengidentifikasi rangkaian kata yang paling mungkin.

Analisis Frekuensi dengan N-Gram

Kita dapat menganalisis frekuensi N-Gram untuk mengidentifikasi pola umum dalam teks:

from collections import Counter

# Example text
text = "I love NLP. NLP is amazing. I love learning NLP."

# Tokenize and generate bigrams
tokens = text.split()
bigrams = list(ngrams(tokens, 2))

# Count bigram frequency
bigram_freq = Counter(bigrams)
print("Bigram Frequencies:", bigram_freq.most_common())

Keunggulan Model N-Gram

Model N-Gram memiliki beberapa keunggulan:

• Sederhana dan mudah diterapkan.
• Berguna untuk analisis pola teks dasar.
• Menjadi dasar bagi model NLP yang lebih canggih.

Keterbatasan Model N-Gram

Meskipun bermanfaat, model N-Gram memiliki beberapa keterbatasan:

• Kesulitan menangani dependensi jarak jauh dalam teks.
• Memerlukan data dalam jumlah besar untuk nilai N yang tinggi.
• Menghasilkan teks berulang atau tidak koheren untuk rangkaian yang panjang.

Kasus Penggunaan N-Gram di Dunia Nyata

N-Gram digunakan dalam:

• Pelengkapan Otomatis: Memprediksi kata berikutnya di mesin pencari.
• Deteksi Plagiarisme: Mengidentifikasi pola kata yang tumpang tindih.
• Pengenalan Ucapan: Mengenali rangkaian kata yang umum.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kita:

• Memperkenalkan model N-Gram dan jenis-jenisnya.
• Membuat N-Gram dalam Python dan menganalisis frekuensinya.
• Membahas keunggulan, keterbatasan, dan penerapan model N-Gram.

Selanjutnya, kita akan mempelajari analisis sentimen dan cara menentukan sentimen data teks.