Evaluering af modellens ydeevne

Evaluering af modellens præstation

Det er afgørende at evaluere en maskinlæringsmodels præstation for at sikre, at den er effektiv. Til klassifikationsproblemer bruger du målinger som nøjagtighed, præcision, genkaldelse og F1-score.

Nøjagtighed måler forholdet mellem korrekt forudsagte observationer og det samlede antal observationer:

Accuracy = (True Positives + True Negatives) / Total Instances

Selvom nøjagtighed er nyttig, er den alene muligvis ikke tilstrækkelig for ubalancerede datasæt.

Præcision fokuserer på, hvor korrekte de positive forudsigelser er:

Precision = True Positives / (True Positives + False Positives)

Høj præcision betyder færre falske positive.

Genkaldelse måler modellens evne til korrekt at identificere alle positive observationer:

Recall = True Positives / (True Positives + False Negatives)

Høj genkaldelse betyder færre falske negative.

F1-score er det harmoniske gennemsnit af præcision og genkaldelse:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Den afvejer præcision og genkaldelse og er især nyttig til ubalancerede datasæt.

Scikit-learn indeholder funktioner til at beregne disse målinger:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

En forvekslingsmatrix giver et detaljeret billede af modellens præstation:

• Sandt positiv (TP): Korrekte positive forudsigelser.
• Falsk positiv (FP): Ukorrekte positive forudsigelser.
• Sandt negativ (TN): Korrekte negative forudsigelser.
• Falsk negativ (FN): Ukorrekte negative forudsigelser.

Valget af måling afhænger af problemet:

• Nøjagtighed: Fungerer godt med balancerede datasæt.
• Præcision: Vigtig, når falske positive er omkostningsfulde.
• Genkaldelse: Afgørende, når falske negative er omkostningsfulde.
• F1-score: En afbalanceret måling til ubalancerede datasæt.

I denne lektion har du gennemgået:

• Målinger til evaluering af modellens præstation: nøjagtighed, præcision, genkaldelse og F1-score.
• Hvordan du beregner disse målinger ved hjælp af scikit-learn.
• Hvordan du fortolker en forvekslingsmatrix.

Dernæst undersøger du metoder til uovervåget læring som klyngedannelse.