Modellleistung bewerten

Die Bewertung der Leistung eines Machine-Learning-Modells ist entscheidend, um seine Effektivität sicherzustellen. Für Klassifikationsprobleme verwenden wir Metriken wie Genauigkeit, Präzision, Recall und F1-Score.

Genauigkeit

Die Genauigkeit misst das Verhältnis der korrekt vorhergesagten Instanzen zur Gesamtzahl der Instanzen:

Accuracy = (True Positives + True Negatives) / Total Instances

Obwohl die Genauigkeit nützlich ist, reicht sie bei unausgeglichenen Datensätzen möglicherweise allein nicht aus.

Präzision

Die Präzision konzentriert sich auf die Korrektheit positiver Vorhersagen:

Precision = True Positives / (True Positives + False Positives)

Eine hohe Präzision bedeutet weniger falsch positive Ergebnisse.

Recall

Recall misst die Fähigkeit des Modells, alle positiven Instanzen korrekt zu erkennen:

Recall = True Positives / (True Positives + False Negatives)

Ein hoher Recall bedeutet weniger falsch negative Ergebnisse.

F1-Score

Der F1-Score ist das harmonische Mittel aus Präzision und Recall:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Er stellt ein Gleichgewicht zwischen Präzision und Recall her und ist besonders bei unausgeglichenen Datensätzen nützlich.

scikit-learn für Metriken verwenden

Scikit-learn stellt Funktionen zur Berechnung dieser Metriken bereit:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Konfusionsmatrix

Eine Konfusionsmatrix bietet eine detaillierte Darstellung der Modellleistung:

• Richtig positive Ergebnisse (TP): Korrekte positive Vorhersagen.
• Falsch positive Ergebnisse (FP): Fehlerhafte positive Vorhersagen.
• Richtig negative Ergebnisse (TN): Korrekte negative Vorhersagen.
• Falsch negative Ergebnisse (FN): Fehlerhafte negative Vorhersagen.

Die richtige Metrik auswählen

Die Wahl der Metrik hängt vom jeweiligen Problem ab:

• Genauigkeit: Funktioniert gut bei ausgewogenen Datensätzen.
• Präzision: Ist wichtig, wenn falsch positive Ergebnisse kostspielig sind.
• Recall: Ist entscheidend, wenn falsch negative Ergebnisse kostspielig sind.
• F1-Score: Ausgewogene Metrik für unausgeglichene Datensätze.

Zusammenfassung und nächste Schritte

In dieser Lektion haben wir behandelt:

• Metriken zur Bewertung der Modellleistung: Genauigkeit, Präzision, Recall und F1-Score.
• Die Berechnung dieser Metriken mit scikit-learn.
• Die Interpretation einer Konfusionsmatrix.

Als Nächstes betrachten wir Methoden des unüberwachten Lernens wie Clustering.