Mengapa Kelas Langka Diabaikan

Jika satu label jauh lebih banyak daripada label lainnya, data Anda tidak seimbang. Bayangkan 9.500 email normal dibandingkan dengan 500 email spam.

Model ingin mendapatkan akurasi tinggi dengan cepat. Cara mudahnya adalah selalu memprediksi kelas mayoritas dan diam-diam mengabaikan kelas yang langka. 😬

Dengan 5% spam, model yang memberi label semuanya sebagai email normal dapat mencapai akurasi 95%, tetapi tidak menemukan satu pun spam. Angka itu tidak bermakna.

Pelatihan standar meminimalkan kesalahan total. Karena kesalahan pada kelas langka hanya sedikit, fungsi kerugian hampir tidak berubah saat model mengabaikannya.

Kami menyebut kelompok besar sebagai kelas mayoritas dan kelompok kecil sebagai kelas minoritas. Dalam NLP, perhatian sering kali paling dibutuhkan oleh kelas minoritas.

Sebelum membuat model, hitung label Anda. Satu baris kode menunjukkan seberapa timpang distribusi kelas yang sebenarnya.

Pesan spam, penipuan, atau penyalahgunaan yang terlewat dapat menimbulkan kerugian besar. Dalam NLP, kelas langka biasanya merupakan kelas yang ingin Anda temukan dengan model.

Dengan sedikit titik minoritas, batas keputusan bergeser ke arah kelompok mayoritas dan hampir sepenuhnya menelan wilayah yang langka.

Pada data yang timpang, akurasi menyembunyikan kegagalan. Anda memerlukan metrik yang menyoroti kelas langka, seperti recall pada kelas minoritas.

Rasio ketidakseimbangan yang diperiksa dengan cepat menunjukkan tingkat keparahannya. Perbandingan sepuluh banding satu masih ringan; seribu banding satu memerlukan perhatian serius.

Menamai masalah adalah setengah dari perjuangan. Setelah melihat kemencengannya, Anda dapat memilih pengambilan sampel ulang atau pembobotan untuk mengatasinya.

Data yang tidak seimbang memungkinkan model mengabaikan kelas langka sambil memperoleh akurasi tinggi. Temukan kemencengannya terlebih dahulu, lalu perbaiki. ✅