Precision, recall, F1 en ROC-AUC

Wanneer één klasse overheerst, lijkt de nauwkeurigheid geweldig, zelfs bij een waardeloos model. Je hebt scherpere maatstaven nodig om de werkelijke prestaties te beoordelen.

Elke voorspelling is een echt-positief, echt-negatief, vals-positief of vals-negatief resultaat. Deze vier tellingen vormen de basis van elke uitgebreidere maatstaf.

Precisie vraagt: hoeveel van alles wat je als positief markeerde, was dat ook echt? Hoge precisie betekent weinig valse alarmen.

Recall vraagt: hoeveel van alle werkelijk positieve gevallen heb je gevonden? Hoge recall betekent weinig gemiste gevallen.

Als je de precisie verhoogt, daalt de recall vaak, en omgekeerd. De juiste balans hangt af van de kosten van elk type vergissing.

De F1-score is het harmonische gemiddelde van precisie en recall. Deze beloont modellen die beide redelijk hoog houden.

Een classificatiemodel geeft een waarschijnlijkheid als uitvoer; de drempelwaarde bepaalt positief tegenover negatief. Door die te verschuiven verander je de verhouding tussen precisie en recall.

De ROC-curve zet voor elke drempelwaarde het percentage echte positieven af tegen het percentage valse positieven en toont zo de volledige afweging in één oogopslag.

ROC-AUC is het oppervlak onder die curve. Het vat de kwaliteit van de rangschikking samen in één getal van nul tot één, onafhankelijk van de drempelwaarde.

Een AUC van 0,5 betekent willekeurig raden, terwijl 1,0 een perfecte scheiding betekent. Een hogere waarde betekent dat het model positieve gevallen goed boven negatieve gevallen rangschikt.

Kies je maatstaf op basis van de taak: recall voor ziektescreening, precisie voor spamfilters en AUC voor de kwaliteit van de rangschikking.

Ga verder dan nauwkeurigheid met precisie, recall, F1 en ROC-AUC. Elke maatstaf beantwoordt een andere vraag, dus stem de maatstaf af op je doel. 🎯