Memilih Ambang Batas dan Metrik

Pengklasifikasi menghasilkan probabilitas, lalu sebuah ambang mengubahnya menjadi label. Nilai bawaan 0,5 jarang menjadi pilihan terbaik untuk kelas langka.

Menurunkan ambang akan menandai lebih banyak item sebagai kelas langka, sehingga lebih banyak kasus positif yang benar ditemukan, tetapi alarm palsu juga bertambah.

Untuk menyetel batas, Anda memerlukan skor, bukan hanya label. Minta model memberikan probabilitas prediksi untuk kelas positif.

Tentukan hal yang lebih merugikan. Jika kasus langka yang terlewat menjadi masalah, optimalkan recall; jika terlalu banyak alarm palsu yang menjadi masalah, utamakan precision.

Saat Anda tidak dapat memilih salah satu, skor F1 menggabungkan precision dan recall menjadi satu angka yang layak dimaksimalkan.

Untuk data yang timpang, kurva precision-recall menceritakan kondisi sebenarnya jauh lebih baik daripada kurva ROC.

Cobalah banyak batas dan amati perubahan pertukarannya. Kurva PR menampilkan setiap pasangan precision-recall sekaligus.

Setelah memilih suatu nilai, bandingkan setiap probabilitas dengannya. Nilai di atas garis menjadi kelas positif, sedangkan nilai di bawahnya menjadi negatif.

ROC AUC dapat terlihat bagus pada ketidakseimbangan yang parah meskipun precision buruk, jadi jangan hanya mengandalkannya di sini.

Pilih ambang pada set validasi yang disisihkan, jangan pernah pada set pengujian, atau angka yang Anda laporkan akan menyesatkan.

Metrik yang tepat mencerminkan biaya di dunia nyata. Biarkan tujuan bisnis menentukan precision, recall, atau F1, lalu lakukan penyetelan untuk tujuan tersebut. 🎯

Setel ambang pada data validasi, utamakan precision, recall, atau F1 daripada akurasi, dan percayai kurva PR pada data yang timpang. ✅