Precision, Recall, F1 und ROC-AUC

Wenn eine Klasse dominiert, wirkt die Genauigkeit selbst bei einem nutzlosen Modell hervorragend. Sie benötigen aussagekräftigere Metriken, um die tatsächliche Leistung zu beurteilen.

Jede Vorhersage ist ein True Positive, True Negative, False Positive oder False Negative. Diese vier Anzahlen bilden die Grundlage für alle komplexeren Metriken.

Precision fragt: Wie viele der als positiv eingestuften Fälle waren tatsächlich positiv? Eine hohe Precision bedeutet wenige Fehlalarme.

Recall fragt: Wie viele der tatsächlich positiven Fälle haben Sie erfasst? Ein hoher Recall bedeutet wenige übersehene Fälle.

Wenn Sie die Precision erhöhen, sinkt häufig der Recall – und umgekehrt. Das richtige Gleichgewicht hängt davon ab, welche Kosten die jeweiligen Fehler verursachen.

Der F1-Score ist das harmonische Mittel aus Precision und Recall. Er belohnt Modelle, die beide Werte auf einem angemessen hohen Niveau halten.

Ein Klassifikator gibt eine Wahrscheinlichkeit aus; der Schwellenwert entscheidet zwischen positiv und negativ. Wenn Sie ihn verschieben, verändern sich Precision und Recall.

Die ROC-Kurve stellt die True-Positive-Rate der False-Positive-Rate für jeden Schwellenwert gegenüber und zeigt so den gesamten Zielkonflikt auf einen Blick.

ROC-AUC ist die Fläche unter dieser Kurve. Sie erfasst die Qualität der Rangordnung mit einer einzigen schwellenwertunabhängigen Zahl zwischen null und eins.

Eine AUC von 0,5 entspricht zufälligem Raten, während 1,0 eine perfekte Trennung bedeutet. Ein höherer Wert zeigt, dass das Modell positive Fälle gut über negative Fälle einordnet.

Wählen Sie Ihre Metrik passend zur Aufgabe: Recall für Früherkennung von Krankheiten, Precision für Spamfilter und AUC für die Qualität der Rangordnung.

Gehen Sie über die Genauigkeit hinaus und verwenden Sie Precision, Recall, F1 und ROC-AUC. Jede Kennzahl beantwortet eine andere Frage – wählen Sie sie daher passend zu Ihrem Ziel. 🎯