Metriken für seltene Ereignisse auswählen

Sie misstrauen Accuracy bei unausgeglichenen Daten bereits. Jetzt brauchen Sie Kennzahlen, die das Erkennen des seltenen Ereignisses tatsächlich belohnen.

Precision ist der Anteil der als positiv markierten Fälle, die tatsächlich positiv sind. Eine hohe Precision bedeutet wenige Fehlalarme unter Ihren Meldungen.

Recall ist der Anteil der tatsächlich positiven Fälle, die Sie erkannt haben. Bei seltenen, kostspieligen Ereignissen ist das Übersehen eines Falls das schlimmste Ergebnis.

Der F1-Score verbindet Precision und Recall zu einer Kennzahl. Er steigt nur, wenn beide Werte gut sind, und bestraft ein unausgewogenes Modell.

Eine Precision-Recall-Kurve zeigt den Zielkonflikt über alle Schwellenwerte hinweg. Sie bezieht sich direkt auf die seltene Klasse, die Sie interessiert.

Bei einem starken Ungleichgewicht können ROC-Kurven rosig aussehen, weil echte negative Fälle zahlreich sind. Die PR-Kurve bleibt hinsichtlich der seltenen Klasse ehrlich.

Average Precision fasst die PR-Kurve in einem einzigen Score zusammen. Ein höherer Wert bedeutet eine starke Precision über viele Recall-Stufen hinweg.

Ein einziger Aufruf von scikit-learn gibt Precision, Recall und F1 für jede Klasse gleichzeitig aus, sodass die Minderheitsklasse nie verborgen bleibt.

Richten Sie Ihre Aufmerksamkeit in diesem Bericht auf die Zeile der seltenen Klasse. Ihr Recall und ihre Precision zeigen, ob das Modell tatsächlich funktioniert. 🎯

Wenn übersehene Fälle gefährlich sind, optimieren Sie den Recall. Wenn Fehlalarme teuer sind, bevorzugen Sie Precision. Lassen Sie die Kosten in der realen Welt entscheiden.

Verlassen Sie sich niemals auf eine einzige Zahl. Zeigen Sie Precision, Recall, F1 und gemeinsam eine PR-Kurve, damit niemand durch eine überhöhte Accuracy getäuscht wird.

Bewerten Sie seltene Ereignisse mit Precision, Recall, F1 und PR-Kurven, nicht mit Accuracy. Stimmen Sie die Kennzahl darauf ab, welcher Fehler Sie am meisten kostet. 🎯