Bewerten der Modellleistung

Die Bewertung der Leistung eines maschinellen Lernmodells ist entscheidend, um seine Wirksamkeit sicherzustellen. Für Klassifikationsprobleme verwenden wir Kennzahlen wie Genauigkeit, Präzision, Recall und F1-Score.

Genauigkeit

Die Genauigkeit misst das Verhältnis der korrekt vorhergesagten Instanzen zur Gesamtzahl der Instanzen:

Accuracy = (True Positives + True Negatives) / Total Instances

Obwohl die Genauigkeit nützlich ist, reicht sie bei unausgeglichenen Datensätzen möglicherweise allein nicht aus.

Präzision

Die Präzision konzentriert sich auf die Richtigkeit positiver Vorhersagen:

Precision = True Positives / (True Positives + False Positives)

Eine hohe Präzision bedeutet, dass es weniger falsch-positive Vorhersagen gibt.

Recall

Recall misst, wie gut das Modell alle positiven Instanzen korrekt erkennt:

Recall = True Positives / (True Positives + False Negatives)

Ein hoher Recall bedeutet, dass es weniger falsch-negative Vorhersagen gibt.

F1-Score

Der F1-Score ist das harmonische Mittel aus Präzision und Recall:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Er stellt ein Gleichgewicht zwischen Präzision und Recall her und ist besonders für unausgeglichene Datensätze nützlich.

scikit-learn für Metriken verwenden

Scikit-learn stellt Funktionen zur Berechnung dieser Metriken bereit:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Konfusionsmatrix

Eine Konfusionsmatrix bietet einen detaillierten Einblick in die Leistung des Modells:

• Richtig positive Vorhersagen (TP): Korrekte positive Vorhersagen.
• Falsch positive Vorhersagen (FP): Falsche positive Vorhersagen.
• Richtig negative Vorhersagen (TN): Korrekte negative Vorhersagen.
• Falsch negative Vorhersagen (FN): Falsche negative Vorhersagen.

Die richtige Metrik auswählen

Die Wahl der Metrik hängt vom jeweiligen Problem ab:

• Genauigkeit: Funktioniert gut bei ausgewogenen Datensätzen.
• Präzision: Wichtig, wenn falsch positive Vorhersagen kostspielig sind.
• Recall: Entscheidend, wenn falsch negative Vorhersagen kostspielig sind.
• F1-Score: Ausgewogene Metrik für unausgewogene Datensätze.

Zusammenfassung und nächste Schritte

In dieser Lektion haben wir Folgendes behandelt:

• Metriken zur Bewertung der Modellleistung: Genauigkeit, Präzision, Recall und F1-Score.
• Die Berechnung dieser Metriken mit scikit-learn.
• Die Interpretation einer Konfusionsmatrix.

Als Nächstes sehen wir uns Methoden des unüberwachten Lernens wie Clustering an.