Classificatiemetrics: accuracy, precision, recall en F1

Nauwkeurigheid — het aandeel correcte voorspellingen — is de meest intuïtieve maatstaf, maar is misleidend wanneer klassen niet in balans zijn. Neem een medische test voor een ziekte die 1% van de patiënten treft. Een model dat altijd ‘gezond’ voorspelt, behaalt 99% nauwkeurigheid, maar is volledig nutteloos: het mist elk daadwerkelijk ziektegeval. Bij fraudedetectie, kankerscreening of het voorspellen van zeldzame gebeurtenissen verbergt nauwkeurigheid dat het model er niet in slaagt de zeldzame maar kritieke positieve klasse te detecteren. Daarom hebben we maatstaven nodig die de prestaties op elke klasse afzonderlijk meten: precisie, recall en de F1-score.

De verwarringsmatrix vormt de basis van alle classificatiemaatstaven. Bij binaire classificatie is dit een tabel van 2 bij 2: True Positives (TP) — correct voorspeld als positief; True Negatives (TN) — correct voorspeld als negatief; False Positives (FP) — voorspeld als positief maar in werkelijkheid negatief (type-I-fout); False Negatives (FN) — voorspeld als negatief maar in werkelijkheid positief (type-II-fout). Elke classificatiemaatstaf wordt afgeleid uit een bepaalde combinatie van deze vier getallen. Door de onbewerkte verwarringsmatrix te bekijken, ziet u welk type fout het model het vaakst maakt.

Nauwkeurigheid = (TP + TN) / (TP + TN + FP + FN). Deze maatstaf beantwoordt de vraag: welk aandeel van alle voorspellingen was correct? Nauwkeurigheid is alleen een eerlijke maatstaf wanneer klassen ongeveer in balans zijn en de kosten van fout-positieve en fout-negatieve voorspellingen vergelijkbaar zijn. Bij herkenning van handgeschreven cijfers is bijvoorbeeld ongeveer 10% van elke cijferklasse in balans, waardoor nauwkeurigheid een redelijke maatstaf is. Gebruik nauwkeurigheid wanneer: klassen in balans zijn en alle fouten evenveel kosten. Vermijd deze maatstaf wanneer: klassen scheef verdeeld zijn (één klasse overheerst) of fout-negatieve voorspellingen meer kosten dan fout-positieve (of andersom).

Precisie = TP / (TP + FP). Deze maatstaf beantwoordt de vraag: welk aandeel van alle voorbeelden die we als positief voorspelden, is daadwerkelijk positief? Precisie is de maatstaf die u optimaliseert wanneer fout-positieve voorspellingen kostbaar zijn. Bij spamdetectie markeert een spamfilter met hoge precisie legitieme e-mail zelden als spam. Bij het testen van geneesmiddelen betekent hoge precisie dat we zelden een geneesmiddel goedkeuren dat niet werkt. Lage precisie betekent dat veel van onze positieve voorspellingen onjuist zijn: we overspoelen gebruikers met valse alarmen. Precisie zegt niets over fout-negatieve voorspellingen: een model dat slechts één duidelijk geval als positief voorspelt, heeft precisie 1,0 maar mist alle andere gevallen.

Recall = TP / (TP + FN) (ook sensitiviteit of true-positivepercentage genoemd). Deze maatstaf beantwoordt de vraag: welk aandeel van alle voorbeelden die daadwerkelijk positief zijn, hebben we gevonden? Recall is de maatstaf die u optimaliseert wanneer fout-negatieve voorspellingen kostbaar zijn. Bij kankerscreening betekent hoge recall dat we de meeste patiënten identificeren die daadwerkelijk kanker hebben. Bij fraudedetectie betekent hoge recall dat we de meeste frauduleuze transacties onderscheppen. Lage recall betekent dat we te veel daadwerkelijke positieve gevallen missen — gevaarlijk in medische of beveiligingscontexten. Recall en precisie staan op gespannen voet: wanneer u de ene verhoogt, verlaagt u doorgaans de andere.

Precisie en recall zijn omgekeerd gerelateerd wanneer u de classificatiedrempel aanpast. Wanneer u de drempel verlaagt (en agressiever positief voorspelt), neemt recall toe (u vindt meer daadwerkelijke positieve gevallen), maar neemt precisie af (meer fout-positieve gevallen komen erdoor). Een hogere drempel heeft het tegenovergestelde effect. Er is geen enkele drempel die beide maatstaven tegelijk maximaliseert. Welke maatstaf u prioriteit geeft, hangt af van het bedrijfsprobleem: geef bij e-mailfiltering prioriteit aan precisie (val gebruikers niet lastig met valse spamwaarschuwingen); geef bij ziektescreening prioriteit aan recall (mis geen zieke patiënten).

F1-score = 2 * (Precision * Recall) / (Precision + Recall). De F1-score is het harmonisch gemiddelde van precisie en recall. In tegenstelling tot het rekenkundig gemiddelde bestraft het harmonisch gemiddelde extreme waarden: een model met precision=1.0 en recall=0.0 krijgt F1=0, niet 0.5. Daardoor is F1 een eerlijke gecombineerde maatstaf die vereist dat zowel precisie als recall redelijk hoog zijn. F1 is de standaardmaatstaf voor tekstclassificatie met niet-gebalanceerde klassen (NLP-benchmarks rapporteren deze altijd), fraudedetectie en elk probleem waarbij een scheve klasseverdeling nauwkeurigheid misleidend maakt.

De Fbeta-score generaliseert F1 door een parameter beta toe te voegen die bepaalt hoeveel gewicht recall krijgt ten opzichte van precisie: F_beta = (1 + beta^2) * Precision * Recall / (beta^2 * Precision + Recall). Bij beta=1 is dit de standaard-F1-score. Bij beta=2 (F2) weegt recall tweemaal zo zwaar als precisie — nuttig wanneer het missen van positieve gevallen tweemaal zo kostbaar is als valse alarmen. Bij beta=0.5 (F0.5) krijgt precisie meer gewicht — nuttig in aanbevelingssystemen waarin de nauwkeurigheid van suggesties belangrijker is dan de dekking.

Bij classificatie met meerdere klassen moet u de precisie, recall en F1 per klasse samenvoegen tot één getal. Macro-gemiddelde: bereken de maatstaf onafhankelijk voor elke klasse en neem daarna het gemiddelde — alle klassen tellen even zwaar mee, ongeacht hun omvang. Gewogen gemiddelde: hetzelfde, maar gewogen op basis van de klasse-ondersteuning — grotere klassen krijgen meer invloed. Micro-gemiddelde: tel eerst TP, FP en FN voor alle klassen bij elkaar op en bereken daarna de maatstaf — dit is gelijk aan nauwkeurigheid voor precisie, recall en F1 wanneer geen voorbeelden meerdere labels hebben. Gebruik macro voor niet-gebalanceerde gegevenssets waarin kleine minderheidsklassen belangrijk zijn.

classification_report() genereert een opgemaakte tabel met precisie, recall, F1-score en support (het aantal echte instanties) voor elke klasse, plus macro- en gewogen gemiddelden. Dit is de standaarduitvoer die u in elk evaluatierapport voor machine learning opneemt. De kolom ‘support’ is vooral belangrijk: een klasse met support=5 heeft schattingen van precisie en recall met veel ruis en moet voorzichtig worden geïnterpreteerd. Controleer altijd de supportwaarden naast de F1-scores om de betrouwbaarheid van de maatstaven te beoordelen.

Gebalanceerde nauwkeurigheid is het rekenkundig gemiddelde van de sensitiviteit (recall voor elke klasse). Voor binaire classificatie geldt: balanced_accuracy = (TPR + TNR) / 2, waarbij TNR (True Negative Rate) = TN / (TN+FP). In tegenstelling tot standaardnauwkeurigheid geeft gebalanceerde nauwkeurigheid elke klasse evenveel gewicht, ongeacht het aantal voorbeelden. Een model dat altijd de meerderheidsklasse voorspelt, krijgt een gebalanceerde nauwkeurigheid van 0,5 — terecht aangeduid als niet beter dan willekeurig. Gebruik gebalanceerde nauwkeurigheid wanneer klassen niet in balans zijn en u één maatstaf wilt die de prestaties op alle klassen gelijkwaardig weerspiegelt, zonder dat u maatstaven per klasse hoeft te berekenen.

In deze les hebt u geleerd: nauwkeurigheid is misleidend bij niet-gebalanceerde klassen — gebruik de verwarringsmatrix als weergave van de werkelijke situatie, precisie meet de kwaliteit van positieve voorspellingen (minimaliseer fout-positieve voorspellingen) en recall meet de dekking van daadwerkelijke positieve gevallen (minimaliseer fout-negatieve voorspellingen), en de F1-score combineert beide op harmonische wijze tot een gebalanceerde maatstaf. Hierna verkennen we ROC-curven en AUC-ROC voor model-evaluatie die onafhankelijk is van de drempel.