Ketepatan, Recall, F1 dan ROC-AUC

Apabila satu kelas mendominasi, ketepatan kelihatan sangat baik walaupun model itu tidak berguna. Anda memerlukan metrik yang lebih tajam untuk menilai prestasi sebenar.

Setiap ramalan ialah positif benar, negatif benar, positif palsu atau negatif palsu. Empat kiraan ini menjadi asas kepada setiap metrik yang lebih terperinci.

Kejituan bertanya: daripada semua yang anda tandakan sebagai positif, berapakah yang benar-benar positif? Kejituan tinggi bermaksud hanya terdapat sedikit amaran palsu.

Liputan bertanya: daripada semua positif sebenar, berapakah yang berjaya anda tangkap? Liputan tinggi bermaksud hanya sedikit kes yang terlepas.

Apabila anda meningkatkan kejituan, liputan sering menurun, dan begitu juga sebaliknya. Keseimbangan yang tepat bergantung pada kos setiap jenis kesilapan.

Skor F1 ialah min harmonik bagi kejituan dan liputan. Ia memberikan ganjaran kepada model yang mengekalkan kedua-duanya pada tahap yang munasabah.

Pengelas menghasilkan kebarangkalian; ambang menentukan positif berbanding negatif. Menggelongsorkannya mengubah bentuk kejituan dan liputan.

Lengkung ROC memplot kadar positif benar berbanding kadar positif palsu merentasi setiap ambang, lalu menunjukkan keseluruhan pertukaran itu sepintas lalu.

ROC-AUC ialah luas di bawah lengkung tersebut. Ia merangkum kualiti pemeringkatan dalam satu nombor bebas ambang daripada sifar hingga satu.

AUC bernilai 0.5 bermaksud tekaan rawak, manakala 1.0 bermaksud pengasingan sempurna. Nilai yang lebih tinggi bermaksud model menyusun positif di atas negatif dengan baik.

Pilih metrik berdasarkan tugas: liputan untuk saringan penyakit, kejituan untuk penapis spam dan AUC untuk kualiti pemeringkatan.

Lampaui ketepatan dengan kejituan, liputan, F1 dan ROC-AUC. Setiap satunya menjawab soalan yang berbeza, jadi padankan metrik dengan matlamat anda. 🎯