Evaluering av modellytelse

Evaluering av modellens ytelse

Det er avgjørende å evaluere ytelsen til en maskinlæringsmodell for å sikre at den fungerer effektivt. Vi bruker mål som nøyaktighet, presisjon, tilbakekalling og F1-score for klassifiseringsproblemer.

Nøyaktighet måler forholdet mellom korrekt predikerte forekomster og totalt antall forekomster:

Accuracy = (True Positives + True Negatives) / Total Instances

Selv om nøyaktighet er nyttig, er den alene kanskje ikke tilstrekkelig for ubalanserte datasett.

Presisjon fokuserer på hvor korrekte de positive prediksjonene er:

Precision = True Positives / (True Positives + False Positives)

Høy presisjon betyr færre falske positive.

Tilbakekalling måler modellens evne til å identifisere alle positive forekomster korrekt:

Recall = True Positives / (True Positives + False Negatives)

Høy tilbakekalling betyr færre falske negative.

F1-score er det harmoniske gjennomsnittet av presisjon og tilbakekalling:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Det balanserer presisjon og tilbakekalling og er spesielt nyttig for ubalanserte datasett.

Scikit-learn tilbyr funksjoner for å beregne disse målene:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

En forvirringsmatrise gir en detaljert oversikt over modellens ytelse:

• Sanne positive (TP): Korrekte positive prediksjoner.
• Falske positive (FP): Feilaktige positive prediksjoner.
• Sanne negative (TN): Korrekte negative prediksjoner.
• Falske negative (FN): Feilaktige negative prediksjoner.

Valget av evalueringsmål avhenger av problemet:

• Nøyaktighet: Fungerer godt med balanserte datasett.
• Presisjon: Viktig når falske positive er kostbare.
• Tilbakekalling: Avgjørende når falske negative er kostbare.
• F1-score: Et balansert mål for ubalanserte datasett.

I denne leksjonen har vi gått gjennom:

• Mål for evaluering av modellens ytelse: nøyaktighet, presisjon, tilbakekalling og F1-score.
• Hvordan disse målene beregnes ved hjelp av scikit-learn.
• Hvordan en forvirringsmatrise tolkes.

Deretter skal vi utforske metoder for ikke-overvåket læring, for eksempel klynging.