Mengapa Ketepatan Mengelirukan pada Ketakseimbangan

Ketepatan kelihatan seperti skor yang jelas: berapa banyak ramalan yang betul. Pada data seimbang, ia berfungsi dengan baik, tetapi ketidakseimbangan secara senyap-senyap merosakkannya.

Set data tidak seimbang apabila satu kelas jauh lebih jarang berbanding kelas lain. Fikirkan penipuan, penyakit atau pelanggan berhenti: peristiwa yang penting ialah yang jarang berlaku.

Bayangkan 99 urus niaga biasa bagi setiap 1 penipuan. Model yang sentiasa menjerit “biasa” mendapat ketepatan 99% yang kelihatan hebat. ⚠️

Model 99% itu tidak pernah menandakan satu pun penipuan. Nombornya kelihatan cemerlang, tetapi model itu tidak berguna untuk tugas sebenar yang diberikan kepadanya.

Ketepatan mempuratakan semua baris, jadi majoriti yang besar menenggelamkan minoriti yang kecil. Kelas jarang boleh gagal sepenuhnya tanpa banyak mengubah skor.

Sentiasa bandingkan dengan garis dasar kelas majoriti: ramalkan sahaja label yang paling biasa. Jika model anda tidak dapat menewaskannya, model itu tidak mempelajari apa-apa yang berguna.

Sebelum meraikannya, tanya satu perkara: berapakah pecahan baris yang merupakan kelas majoriti? Nombor itu ialah ketepatan yang diperoleh model malas secara percuma.

Satu baris mendedahkan betapa tidak seimbangnya label anda. Jika satu nilai jauh mengatasi nilai lain, ketepatan sahaja akan mengelirukan anda.

Gagal mengesan kelas jarang biasanya paling merugikan: tumor atau penipuan yang tidak dikesan membawa kos tinggi. Ketepatan menganggap semua kesilapan sama, tetapi realitinya tidak begitu.

Penyelesaiannya bukan lagi metrik ajaib, tetapi perubahan cara berfikir. Berhenti mempercayai satu nombor dan mula bertanya tentang prestasi sebenar kelas minoriti.

Tidak lama lagi anda akan mempelajari kejituan, dapatan semula dan lengkung PR yang dibina untuk peristiwa jarang. Mula-mula, fahami sebab ketepatan menimbulkan ketidakpercayaan anda di sini.

Dalam keadaan tidak seimbang, ketepatan memuji model malas yang mengabaikan kelas jarang. Tewaskan garis dasar majoriti dan nilai prestasi sebenar kelas minoriti. 🎯