Dengesiz Verilerde Doğruluk Neden Yanıltır

Doğruluk bariz bir ölçüt gibi görünür: Kaç tahmini doğru yaptınız? Dengeli verilerde iyi çalışır, ancak dengesizlik onu sessizce bozar.

Bir veri kümesi, sınıflardan biri diğerlerine göre çok daha nadirse dengesizdir. Dolandırıcılık, hastalık veya müşteri kaybını düşünün: Önemli olay nadir olandır.

Her 1 dolandırıcılık işlemine karşılık 99 normal işlem olduğunu düşünün. Her seferinde normal diye bağıran bir model, görkemli bir %99 doğruluk elde eder. ⚠️

Bu %99'luk model tek bir dolandırıcılığı bile işaretlemedi. Sayı mükemmel görünür, ancak model kendisinden beklenen iş için işe yaramazdır.

Doğruluk tüm satırların ortalamasını alır; bu nedenle büyük çoğunluk, küçük azınlığı bastırır. Nadir sınıf tamamen başarısız olabilir ve puanı neredeyse hiç değiştirmeyebilir.

Her zaman çoğunluk sınıfı temel modeliyle karşılaştırın: En yaygın etiketi tahmin edin. Modeliniz bunu geçemiyorsa yararlı hiçbir şey öğrenmemiştir.

Kutlama yapmadan önce tek bir şey sorun: Satırların hangi oranı çoğunluk sınıfında? Tembel bir modelin ücretsiz elde ettiği doğruluk budur.

Tek bir satır, etiketlerinizin ne kadar dengesiz olduğunu gösterir. Bir değer diğerlerini açık ara geçiyorsa yalnızca doğruluk sizi yanıltır.

Nadir sınıfı kaçırmak genellikle en çok zarar veren durumdur: Fark edilmeyen bir tümör veya dolandırıcılık pahalıya mal olur. Doğruluk her hatayı eşit sayar, ancak gerçek hayat böyle değildir.

Çözüm henüz sihirli bir metrik değil, bir bakış açısı değişikliğidir. Tek bir sayıya güvenmeyi bırakın ve azınlık sınıfının gerçekte nasıl sonuç verdiğini sormaya başlayın.

Yakında nadir olaylar için geliştirilmiş kesinlik, duyarlılık ve PR eğrileriyle tanışacaksınız. Önce doğruluğa neden burada güvenmemeniz gerektiğini kavrayın.

Dengesizlik durumunda doğruluk, nadir sınıfı görmezden gelen tembel modelleri olduğundan iyi gösterir. Çoğunluk temel modelini geçin ve azınlık sınıfının gerçekte nasıl sonuç verdiğini değerlendirin. 🎯