Penghalusan Laplace dan Masalah Probabilitas Nol

Naive Bayes menghitung probabilitas posterior suatu kelas dengan mengalikan kemungkinan semua fitur: P(class|features) ∝ P(class) * product of P(feature_i | class). Jika satu fitur saja memiliki probabilitas nol untuk suatu kelas—karena fitur tersebut tidak pernah muncul dalam data pelatihan kelas itu—seluruh hasil perkalian menjadi nol, terlepas dari fitur lainnya. Ini berarti satu kata yang belum pernah terlihat membuat pengklasifikasi tidak mampu membedakan kelas untuk dokumen tersebut. Inilah masalah probabilitas nol, yang sangat parah pada data teks karena kosakata saat pengujian hampir selalu mencakup kata-kata yang tidak terlihat selama pelatihan.

Ketika P(features|class) = 0 untuk beberapa kelas sekaligus (yang terjadi jika terdapat kata-kata yang belum pernah terlihat), pengklasifikasi tidak dapat membedakan kelas-kelas tersebut—semua probabilitas posterior bernilai 0. Jika hanya sebagian kelas yang memiliki probabilitas nol, pengklasifikasi terpaksa memilih kelas yang tersisa, yang mungkin saja salah. Ini bukan sekadar kendala numerik—ini adalah kegagalan model yang mendasar. Dalam ruang logaritmik, probabilitas nol menjadi negatif tak terhingga: log(0) = -infinity. Penjumlahan dengan nilai yang berhingga tetap menghasilkan negatif tak terhingga, sehingga probabilitas logaritmik sepenuhnya didominasi oleh satu nilai nol ini dan mengabaikan semua bukti lainnya.

Penghalusan Laplace (juga disebut penghalusan aditif atau penghalusan tambah satu) menyelesaikan masalah probabilitas nol dengan menambahkan konstanta kecil alpha ke hitungan setiap kata sebelum menghitung probabilitas. Rumusnya menjadi: P(word | class) = (count(word, class) + alpha) / (total_words_in_class + alpha * vocab_size). Dengan alpha=1, setiap kata memperoleh setidaknya satu kemunculan 'virtual' di setiap kelas. Ini menjamin bahwa tidak ada kata yang memiliki probabilitas nol, sekaligus hanya memberi dampak minimal pada kata-kata yang memang sering muncul dalam data pelatihan.

Parameter alpha mengontrol seberapa besar penghalusan diterapkan. Alpha=1 (Laplace) menambahkan satu hitungan virtual untuk setiap kata di setiap kelas. Nilai alpha yang lebih besar menghasilkan penghalusan yang lebih kuat—probabilitas kata bergerak mendekati distribusi seragam (1/vocab_size). Nilai alpha yang sangat kecil (0,001) memberikan penghalusan minimal tetapi tetap stabil secara numerik. Alpha yang optimal menyeimbangkan penghapusan nilai nol dan pencegahan penghalusan berlebihan terhadap sinyal nyata. Validasi silang adalah cara yang tepat secara prinsip untuk memilih alpha—biasanya nilainya berada antara 0,01 dan 1,0 untuk sebagian besar tugas klasifikasi teks.

Penghalusan Lidstone adalah bentuk umum penghalusan Laplace, dengan alpha yang dapat berupa nilai positif apa pun, bukan khusus 1,0. Jika alpha=1, metode ini disebut penghalusan Laplace (tambah satu). Jika alpha < 1, metode ini terkadang disebut penghalusan Jeffreys-Perks. Tidak ada nilai alpha yang terbaik secara universal—nilainya bergantung pada ukuran kosakata, ukuran data pelatihan, dan karakteristik data pengujian. Untuk set pelatihan besar (jutaan dokumen), nilai alpha yang sangat kecil (0,001) bekerja dengan baik karena sebagian besar kata telah terlihat. Untuk set pelatihan kecil, nilai alpha yang lebih besar mencegah penyesuaian berlebihan terhadap hitungan kata yang diamati.

Berikut perbandingan konkret yang menunjukkan cara penghalusan mencegah bencana probabilitas nol. Tanpa penghalusan, dokumen yang berisi satu kata yang belum pernah terlihat memperoleh probabilitas posterior 0 untuk kelas yang terdampak. Dengan penghalusan, kata yang belum pernah terlihat tersebut menerima probabilitas kecil tetapi positif, sehingga kontribusi semua fitur lainnya tetap terjaga. Kelas yang diprediksi tidak berubah ketika kata yang belum pernah terlihat tidak bersifat diskriminatif, tetapi probabilitasnya kini menjadi angka yang bermakna, bukan 0 atau negatif tak terhingga.

Penghalusan juga membantu menangani kata di luar kosakata (OOV) pada waktu inferensi. Kata-kata yang tidak ada dalam kosakata pelatihan akan diabaikan oleh CountVectorizer secara bawaan (kata-kata tersebut tidak memperoleh kolom dalam matriks fitur). Namun, kata-kata yang ada dalam kosakata tetapi memiliki hitungan nol pada salah satu kelas akan ditangani oleh penghalusan. Kedua mekanisme ini bekerja bersama: handle_unknown='ignore' milik CountVectorizer (untuk kata yang sama sekali belum terlihat) ditambah alpha milik MultinomialNB (untuk kata dengan hitungan nol di dalam kosakata). Alur teks yang tangguh menggunakan keduanya untuk menangani pergeseran kosakata yang tidak terhindarkan antara data pelatihan dan data penerapan.

BernoulliNB menerapkan penghalusan Laplace dengan cara yang serupa: alih-alih probabilitas hitungan kata, metode ini menghaluskan probabilitas kehadiran biner P(feature=1|class) dan P(feature=0|class). GaussianNB menggunakan pendekatan berbeda—metode ini menambahkan sebagian kecil varians untuk menghindari varians nol pada fitur konstan: var_smoothing menambahkan sebagian dari varians terbesar dalam kumpulan data ke semua varians. Setiap varian memiliki mekanisme penghalusan yang sesuai dengan asumsi distribusinya, tetapi semuanya memiliki tujuan dasar yang sama: mencegah probabilitas nol yang dapat menyebabkan model gagal.

Penghalusan Laplace dalam Naive Bayes secara konseptual mirip dengan regularisasi L2 dalam regresi logistik atau peluruhan bobot dalam jaringan saraf. Ketiga mekanisme tersebut mencegah nilai parameter yang ekstrem dengan menarik perkiraan menuju garis dasar yang netral (distribusi seragam untuk Laplace, bobot nol untuk L2). Perbedaan utamanya: penghalusan Laplace menargetkan perkiraan probabilitas dan memiliki interpretasi Bayesian yang jelas—setara dengan menambahkan alpha pengamatan imajiner untuk setiap kata ke setiap kelas. Alpha yang lebih besar berarti keyakinan awal yang lebih kuat bahwa semua kata memiliki kemungkinan yang sama, sehingga perkiraan menyusut menuju keseragaman.

Untuk menunjukkan manfaat penghalusan secara meyakinkan, bandingkan model dengan dan tanpa penghalusan pada kumpulan data yang beberapa kata pengujiannya benar-benar tidak ada dalam data pelatihan. Buat kondisi ini secara artifisial dengan melatih model pada korpus kecil dan mengujinya pada korpus yang lebih besar. Tanpa penghalusan, akurasi merosot tajam karena kata di luar kosakata untuk kelas tertentu menyebabkan posterior bernilai nol. Dengan penghalusan, model menangani kata-kata baru dengan baik dan berfokus pada kata-kata yang dikenalnya. Ketangguhan inilah yang membuat Naive Bayes dengan penghalusan tetap menjadi garis dasar yang kuat, bahkan puluhan tahun setelah diperkenalkan.

Dari perspektif Bayesian, penghalusan Laplace setara dengan menerapkan prior Dirichlet simetris pada distribusi probabilitas kata untuk setiap kelas. Distribusi Dirichlet merupakan prior konjugat untuk distribusi multinomial, yang berarti posterior (berdasarkan hitungan kata yang diamati) juga berupa Dirichlet, dan perkiraan MAP (maksimum a posteriori) persis sama dengan rumus probabilitas yang dihaluskan dengan Laplace. Alpha adalah parameter konsentrasi prior Dirichlet: alpha=1 bersifat seragam (semua kata memiliki probabilitas awal yang sama); alpha<1 bersifat jarang (sebagian besar kata memiliki probabilitas awal yang mendekati nol); alpha>1 bersifat padat (mendorong semua kata menuju probabilitas yang sama). Kerangka Bayesian ini menjelaskan mengapa alpha kecil sesuai untuk korpus besar dan alpha besar untuk korpus kecil.

Dalam pelajaran ini Anda telah mempelajari: masalah probabilitas nol muncul ketika kata-kata yang belum pernah dilihat menyebabkan seluruh probabilitas posterior runtuh menjadi nol, penghalusan Laplace menambahkan pseudohitungan alfa untuk menjamin setiap kata memiliki probabilitas positif, dan alfa optimal adalah hiperparameter yang disetel melalui validasi silang untuk menyeimbangkan penghapusan nilai nol tanpa terlalu menghaluskan sinyal nyata. Selanjutnya kita akan membahas metrik klasifikasi, termasuk akurasi, presisi, cakupan, dan skor F1.