Intuisi di Balik Naive Bayes

Bayangkan Anda mengenali email spam hanya dari beberapa kata yang menjadi petunjuk. Naive Bayes mengubah intuisi tersebut menjadi perhitungan probabilitas yang jelas.

Model ini didasarkan pada teorema Bayes, yaitu aturan untuk memperbarui keyakinan setelah melihat bukti baru. Di sini, buktinya adalah kata-kata dalam teks Anda.

Untuk setiap label, model menanyakan seberapa mungkin teks ini termasuk di dalamnya. Kemudian model memilih kelas dengan probabilitas tertinggi sebagai prediksinya.

Setiap kata sedikit mengarahkan jawaban ke satu kelas atau kelas lainnya. Kata free mengarah ke spam, sedangkan invoice mungkin menariknya ke arah yang berlawanan.

Model mengasumsikan bahwa setiap kata independen dari kata lainnya. Hal itu sebenarnya tidak benar, tetapi anggapan tersebut membuat perhitungannya cepat dan ternyata efektif.

Berkat independensi, Anda mengalikan probabilitas setiap kata. Hasil kali sederhana inilah yang membuat Naive Bayes sangat cepat dilatih dan dijalankan.

Pelatihan terutama terdiri atas menghitung seberapa sering setiap kata muncul dalam setiap kelas. Hitungan tersebut langsung diubah menjadi probabilitas yang dibutuhkan model.

Sebelum membaca kata apa pun, beberapa kelas memang lebih umum daripada yang lain. Tingkat dasar ini disebut prior, dan model memadukannya dengan bukti dari kata-kata.

Kata yang tidak pernah muncul dalam suatu kelas menghasilkan probabilitas nol, yang menghapus seluruh hasil kali. Penghalusan menambahkan hitungan kecil untuk menghindari hal ini.

Karena hanya menyimpan hitungan, Naive Bayes dapat dilatih dalam hitungan detik dan menggunakan sedikit memori. Kecepatan ini menjadikannya tolok ukur awal yang bagus untuk teks. ⚡

Untuk penyaring spam dan pengelompokan topik, metode lama ini masih bekerja dengan baik. Probabilitas sederhana sering mengungguli model yang jauh lebih kompleks pada teks.

Anda telah melihat bagaimana Naive Bayes memilih kelas yang paling mungkin dengan mengalikan hitungan kata sederhana, menggunakan penghalusan untuk menghindari nilai nol. Selanjutnya, Anda akan membuat pendeteksi spam. ✅