Mengapa Model Memerlukan Angka, Bukan Kata

Model tidak dapat melakukan perhitungan pada kata cat. Setiap algoritme di balik layar hanya memahami bilangan, sehingga teks harus dikonversi terlebih dahulu.

Tujuan Anda adalah mengubah setiap dokumen menjadi baris bilangan, yaitu sebuah vektor, yang menangkap isi teks tersebut.

Anda tidak dapat mengatakan bahwa cat lebih besar daripada dog. Kata adalah kategori, bukan besaran, sehingga teks mentah tidak memiliki makna numerik untuk dihitung.

Konversi kata menjadi susunan bilangan ini disebut vektorisasi. Inilah jembatan antara bahasa dan pembelajaran mesin.

Vektor paling mudah hanyalah jumlah kemunculan setiap kata. Gagasan berbasis hitungan ini adalah inti dari kantong kata. 🛍️

Disebut kantong karena urutan dibuang. Anda menyimpan kata-kata yang muncul dan frekuensinya, tetapi bukan urutan kemunculannya.

Bayangkan dua ulasan. Kita dapat memberi skor pada masing-masing ulasan dengan menghitung kata good dan bad untuk mendapatkan representasi numerik sederhana dari nadanya.

Setiap dokumen menjadi vektor dengan panjang yang sama, satu slot untuk setiap kata yang dikenal, sehingga model dapat membandingkan baris secara langsung.

Jika sebuah kata tidak pernah muncul dalam dokumen, slotnya cukup diisi nol. Sebagian besar slot biasanya bernilai nol, sehingga vektor ini bersifat renggang.

Setelah teks menjadi numerik, semua alat klasik dapat digunakan: jarak, kemiripan, dan pengklasifikasi semuanya bekerja pada vektor ini.

Hitungan mengabaikan tata bahasa dan urutan kata, sehingga kantong kata merupakan dasar pembanding yang sederhana tetapi ternyata kuat untuk banyak tugas.

Anda melihat mengapa model memerlukan vektor, mengenal kantong kata, dan mempelajari bahwa hitungan kata mengubah dokumen menjadi bilangan yang dapat dibaca model. 🎉