Hvorfor accuracy snyder ved ubalance

Nøjagtighed føles som det oplagte mål: hvor mange forudsigelser du ramte rigtigt. På afbalancerede data fungerer det fint, men ubalance ødelægger det i stilhed.

Et datasæt er ubalanceret, når én klasse er langt sjældnere end de andre. Tænk på svindel, sygdom eller kundefrafald: den interessante hændelse er den sjældne.

Forestil dig 99 normale transaktioner for hver svindeltransaktion. En model, der hver eneste gang siger normal, opnår imponerende 99 % nøjagtighed. ⚠️

Modellen med 99 % markerede aldrig en eneste svindeltransaktion. Tallet ser fremragende ud, men modellen er ubrugelig til netop den opgave, du ansatte den til.

Nøjagtighed beregnes på tværs af alle rækker, så det store flertal overdøver det lille mindretal. Den sjældne klasse kan være en total fiasko uden næsten at påvirke resultatet.

Sammenlign altid med udgangspunktet for flertalsklassen: forudsig blot den hyppigste etiket. Hvis din model ikke kan slå det, har den ikke lært noget nyttigt.

Før du fejrer, skal du spørge om én ting: Hvor stor en andel af rækkerne tilhører flertalsklassen? Det tal er den nøjagtighed, en doven model får gratis.

Én linje viser, hvor skævt dine etiketter er fordelt. Hvis én værdi er langt større end resten, vil nøjagtighed alene vildlede dig.

Det gør som regel mest ondt at overse den sjældne klasse: en uopdaget svulst eller svindel er dyrt. Nøjagtighed behandler alle fejl ens, men virkeligheden gør ikke.

Løsningen er endnu ikke et magisk mål, men en ny tilgang. Stol ikke længere på ét tal, men spørg, hvordan mindretalsklassen faktisk klarede sig.

Snart møder du præcision, genkaldelse og PR-kurver, som er udviklet til sjældne hændelser. Først skal du forstå, hvorfor nøjagtighed fortjener din mistillid her.

Ved ubalance smigrer nøjagtighed dovne modeller, der ignorerer den sjældne klasse. Slå flertalsklassens udgangspunkt, og vurder, hvordan mindretalsklassen faktisk klarede sig. 🎯