Mengapa Satu Kata Kehilangan Makna

Sejauh ini Anda memperlakukan teks sebagai kumpulan kata tunggal. Namun, makna sering kali terletak pada cara kata-kata berada berdampingan, bukan pada satu kata saja.

Model bag-of-words membuang urutan kata. Menurut model ini, dua kalimat di bawah sama, meskipun maknanya berlawanan. 😮

Bayangkan ulasan yang mengatakan not bad. Kata bad saja terlihat negatif, tetapi pasangan kata tersebut mengubah maknanya menjadi agak positif.

Ketika Anda menghitung kata satu per satu, kata not berdiri sendiri. Model tidak pernah mempelajari kata mana yang sebenarnya dinegasikan.

Bahasa nyata penuh dengan frasa seperti new york atau machine learning. Jika dipisahkan, Anda kehilangan konsep yang dibentuk bersama oleh frasa tersebut.

Bandingkan dog bites man dengan man bites dog. Tiga kata yang sama, tetapi beritanya sangat berbeda. Urutan mengandung informasi, sedangkan kata tunggal membuangnya.

N-gram adalah rangkaian pendek yang terdiri dari n kata berurutan. Ini cara paling sederhana untuk menggabungkan kata-kata yang berdekatan dan mempertahankan sedikit konteks lokal.

Satu kata disebut unigram, yaitu n-gram berukuran satu. Jadi, bag-of-words sebenarnya sejak awal sudah merupakan model n-gram.

Naikkan ukurannya menjadi dua dan not bad menjadi satu fitur. Kini model dapat mempelajari bahwa pasangan ini cenderung positif.

Bayangkan sebuah jendela kecil yang bergeser sepanjang teks, satu langkah setiap kali, mengambil setiap kelompok kata bersebelahan yang dilewatinya.

N-gram tidak memahami tata bahasa. N-gram hanya mempertahankan kata mana yang muncul bersama, dan petunjuk kecil ini meningkatkan banyak tugas NLP.

Kata tunggal mengabaikan urutan, sehingga negasi dan frasa dapat hilang. N-gram menjaga kata-kata yang berdekatan tetap bersama dan mengembalikan konteks lokal. Selanjutnya Anda akan mempelajari penamaannya. ✨