Memilih Metrik untuk Peristiwa Langka

Anda sudah tidak mempercayai akurasi pada data yang tidak seimbang. Kini Anda memerlukan metrik yang benar-benar memberi penghargaan atas keberhasilan menangkap kejadian langka.

Presisi adalah proporsi hasil positif yang ditandai dan benar-benar positif. Presisi tinggi berarti hanya ada sedikit alarm palsu di antara peringatan Anda.

Recall adalah proporsi positif sebenarnya yang berhasil Anda temukan. Untuk kejadian yang jarang dan berbiaya tinggi, tidak menemukannya adalah hasil terburuk.

Skor F1 menggabungkan precision dan recall menjadi satu angka. Nilainya hanya meningkat jika keduanya cukup baik, sehingga model yang timpang akan mendapat penalti.

Kurva precision-recall menelusuri pertukaran hasil pada setiap ambang. Kurva ini secara langsung berfokus pada kelas langka yang Anda pedulikan.

Pada ketidakseimbangan yang besar, kurva ROC dapat terlihat terlalu bagus karena negatif sebenarnya sangat banyak. Kurva PR tetap menunjukkan kondisi kelas langka secara jujur.

Presisi rata-rata merangkum kurva PR dalam satu skor. Nilai yang lebih tinggi berarti precision tetap kuat pada banyak tingkat recall.

Satu pemanggilan scikit-learn menampilkan precision, recall, dan F1 untuk setiap kelas sekaligus, sehingga kelas minoritas tidak pernah tersembunyi.

Dalam laporan tersebut, fokuskan perhatian Anda pada baris kelas langka. Recall dan precision-nya menunjukkan apakah model benar-benar bekerja. 🎯

Jika kasus yang terlewat berbahaya, optimalkan recall. Jika alarm palsu mahal, utamakan precision. Biarkan biaya di dunia nyata yang menentukan.

Jangan pernah hanya mengandalkan satu angka. Tampilkan precision, recall, F1, dan kurva PR secara bersamaan agar tidak ada yang tertipu oleh akurasi yang tampak tinggi.

Untuk kejadian langka, lakukan penilaian dengan precision, recall, F1, dan kurva PR, bukan akurasi. Sesuaikan metrik dengan jenis kesalahan yang paling mahal bagi Anda. 🎯