Warum Accuracy bei unausgeglichenen Daten täuscht

Accuracy wirkt wie die naheliegende Kennzahl: Wie viele Vorhersagen waren richtig? Bei ausgeglichenen Daten funktioniert sie gut, aber ein Ungleichgewicht macht sie unbemerkt unbrauchbar.

Ein Datensatz ist unausgeglichen, wenn eine Klasse wesentlich seltener ist als die anderen. Denken Sie an Betrug, Krankheiten oder Kündigungen: Das interessante Ereignis ist das seltene.

Stellen Sie sich 99 normale Transaktionen auf einen Betrugsfall vor. Ein Modell, das jedes Mal „normal“ meldet, erreicht beeindruckende 99 % Accuracy. ⚠️

Dieses Modell mit 99 % hat keinen einzigen Betrugsfall markiert. Die Zahl wirkt herausragend, aber für die eigentliche Aufgabe ist das Modell unbrauchbar.

Accuracy wird über alle Zeilen gemittelt, sodass die große Mehrheit die kleine Minderheit überdeckt. Die seltene Klasse kann vollständig falsch erkannt werden, ohne den Wert nennenswert zu verändern.

Vergleichen Sie immer mit der Baseline der Mehrheitsklasse: Prognostizieren Sie einfach das häufigste Label. Wenn Ihr Modell sie nicht übertrifft, hat es nichts Nützliches gelernt.

Bevor Sie feiern, fragen Sie sich: Welcher Anteil der Zeilen gehört zur Mehrheitsklasse? Diese Zahl erreicht ein bequemes Modell mit minimalem Aufwand als Accuracy.

Eine einzige Zeile zeigt, wie unausgewogen Ihre Labels sind. Wenn ein Wert die übrigen weit übertrifft, wird Accuracy allein Sie in die Irre führen.

Die seltene Klasse zu übersehen, ist meist besonders schädlich: Ein nicht erkannter Tumor oder Betrug verursacht hohe Kosten. Accuracy behandelt jeden Fehler gleich, die Realität jedoch nicht.

Die Lösung ist noch keine magische Kennzahl, sondern eine andere Denkweise. Vertrauen Sie nicht länger auf eine einzelne Zahl, sondern fragen Sie, wie die Minderheitsklasse tatsächlich abgeschnitten hat.

Bald lernen Sie Precision, Recall und PR-Kurven kennen, die für seltene Ereignisse entwickelt wurden. Verinnerlichen Sie zunächst, warum Accuracy hier Ihr Misstrauen verdient.

Bei unausgeglichenen Daten schmeichelt Accuracy bequemen Modellen, die die seltene Klasse ignorieren. Übertreffen Sie die Mehrheits-Baseline und beurteilen Sie, wie die Minderheitsklasse tatsächlich abgeschnitten hat. 🎯