Utvärdera modellprestanda

Utvärdera modellens prestanda

Att utvärdera prestandan hos en maskininlärningsmodell är avgörande för att säkerställa dess effektivitet. För klassificeringsproblem använder vi mått som träffsäkerhet, precision, recall och F1-score.

Träffsäkerhet mäter andelen korrekt förutsagda instanser av det totala antalet instanser:

Accuracy = (True Positives + True Negatives) / Total Instances

Även om träffsäkerhet är användbart räcker det kanske inte som enda mått för obalanserade datauppsättningar.

Precision fokuserar på hur korrekta de positiva förutsägelserna är:

Precision = True Positives / (True Positives + False Positives)

Hög precision innebär färre falskt positiva resultat.

Recall mäter modellens förmåga att korrekt identifiera alla positiva instanser:

Recall = True Positives / (True Positives + False Negatives)

Hög recall innebär färre falskt negativa resultat.

F1-score är det harmoniska medelvärdet av precision och recall:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Det balanserar precision och recall och är särskilt användbart för obalanserade datauppsättningar.

Scikit-learn tillhandahåller funktioner för att beräkna dessa mått:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

En konfusionsmatris ger en detaljerad bild av modellens prestanda:

• Sant positiva (TP): Korrekt positiva förutsägelser.
• Falskt positiva (FP): Felaktiga positiva förutsägelser.
• Sant negativa (TN): Korrekt negativa förutsägelser.
• Falskt negativa (FN): Felaktiga negativa förutsägelser.

Vilket mått som bör användas beror på problemet:

• Träffsäkerhet: Fungerar bra med balanserade datauppsättningar.
• Precision: Viktigt när falskt positiva resultat är kostsamma.
• Recall: Avgörande när falskt negativa resultat är kostsamma.
• F1-score: Balanserat mått för obalanserade datauppsättningar.

I den här lektionen har vi gått igenom:

• Mått för att utvärdera modellens prestanda: träffsäkerhet, precision, recall och F1-score.
• Hur dessa mått beräknas med scikit-learn.
• Hur en konfusionsmatris tolkas.

Härnäst utforskar vi metoder för oövervakad inlärning, till exempel klustring.