Mengapa Akurasi Bisa Menyesatkan

Akurasi hanyalah proporsi prediksi yang benar dari seluruh prediksi model Anda. Sederhana, tetapi dapat diam-diam menyesatkan. 🎯

Satu angka terasa meyakinkan, tetapi akurasi menyembunyikan jenis kesalahan yang Anda buat. Skor tinggi dapat menutupi model yang gagal pada hal yang paling penting.

Bahaya muncul pada data yang tidak seimbang, ketika satu kelas jauh lebih umum daripada kelas lainnya. Dalam situasi ini, akurasi berhenti menggambarkan keadaan sebenarnya.

Misalkan 95% email bukan spam. Model malas yang melabeli semuanya sebagai bukan spam akan memperoleh akurasi 95%, tetapi tidak menangkap satu pun spam.

Trik yang selalu memprediksi kelas mayoritas itu disebut dasar kelas mayoritas. Jika model Anda hanya sedikit mengunggulinya, akurasi Anda tidak berarti banyak.

scikit-learn menyediakan akurasi secara langsung, sehingga Anda dapat membandingkan model dengan dasar yang malas tersebut dalam satu baris.

Tidak mendeteksi transaksi penipuan dan menandai transaksi yang aman memiliki dampak yang sangat berbeda. Akurasi memperlakukan setiap kesalahan seolah-olah biayanya sama, padahal jarang demikian.

Pemeriksaan medis yang gagal mendeteksi penyakit nyata dapat memperoleh akurasi tinggi, tetapi tetap berbahaya. Dampaknya tersembunyi dalam kesalahan yang dirata-ratakan oleh akurasi.

Dengan kelas yang seimbang dan biaya kesalahan yang sama, akurasi merupakan ringkasan kinerja yang jujur dan mudah dibaca.

Sebelum mempercayai skor apa pun, periksa keseimbangan kelas. Mengetahui distribusi kelas memberi tahu Anda apakah akurasi benar-benar dapat dipercaya.

Akurasi adalah titik awal, bukan keputusan akhir. Evaluasi yang sebenarnya memerlukan metrik yang mengungkapkan di mana dan bagaimana model Anda gagal.

Akurasi menghitung prediksi yang benar, tetapi pada data yang tidak seimbang, akurasi menyembunyikan kegagalan. Selalu periksa keseimbangan kelas dan biaya kesalahan terlebih dahulu. ✅