Modelprestaties evalueren

Modelprestaties evalueren

Het evalueren van de prestaties van een machinelearningmodel is cruciaal om de effectiviteit ervan te waarborgen. Voor classificatieproblemen gebruiken we maatstaven zoals nauwkeurigheid, precisie, sensitiviteit en de F1-score.

Nauwkeurigheid meet de verhouding tussen correct voorspelde gevallen en het totale aantal gevallen:

Accuracy = (True Positives + True Negatives) / Total Instances

Hoewel nauwkeurigheid nuttig is, is deze maatstaf op zichzelf mogelijk niet voldoende voor onevenwichtige datasets.

Precisie richt zich op de juistheid van positieve voorspellingen:

Precision = True Positives / (True Positives + False Positives)

Een hoge precisie betekent minder fout-positieven.

Sensitiviteit meet het vermogen van het model om alle positieve gevallen correct te herkennen:

Recall = True Positives / (True Positives + False Negatives)

Een hoge sensitiviteit betekent minder fout-negatieven.

De F1-score is het harmonische gemiddelde van precisie en sensitiviteit:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

De F1-score brengt precisie en sensitiviteit met elkaar in balans en is vooral nuttig voor onevenwichtige datasets.

Scikit-learn biedt functies om deze maatstaven te berekenen:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Een verwarringsmatrix geeft een gedetailleerd beeld van de prestaties van het model:

• Terecht-positieven (TP): Correcte positieve voorspellingen.
• Fout-positieven (FP): Onjuiste positieve voorspellingen.
• Terecht-negatieven (TN): Correcte negatieve voorspellingen.
• Fout-negatieven (FN): Onjuiste negatieve voorspellingen.

De keuze van de maatstaf hangt af van het probleem:

• Nauwkeurigheid: Werkt goed bij evenwichtige datasets.
• Precisie: Belangrijk wanneer fout-positieven kostbaar zijn.
• Sensitiviteit: Cruciaal wanneer fout-negatieven kostbaar zijn.
• F1-score: Een uitgebalanceerde maatstaf voor onevenwichtige datasets.

In deze les hebben we behandeld:

• Maatstaven voor het evalueren van modelprestaties: nauwkeurigheid, precisie, sensitiviteit en de F1-score.
• Hoe je deze maatstaven berekent met scikit-learn.
• Hoe je een verwarringsmatrix interpreteert.

Vervolgens verkennen we methoden voor leren zonder toezicht, zoals clusteren.