Uitschieters en hun betekenis

Soms ligt één waarde ver van de rest van de groep. Dat eenzame punt is een uitschieter en kan je hele analyse ongemerkt vertekenen. 🚩

Eén extreme waarde kan het gemiddelde sterk verschuiven en de standaardafwijking vergroten. Door uitschieters vroeg te herkennen, voorkom je dat ze het echte patroon verbergen.

Niet elke uitschieter is waardeloos. Sommige zijn typefouten die je moet herstellen, maar andere zijn een echt signaal, zoals fraude of een zeldzame gebeurtenis die je volledige aandacht verdient.

Bij de klassieke test gebruik je de IQR. Alles wat ver onder Q1 of ver boven Q3 ligt, wordt gemarkeerd als een mogelijke uitschieter die nader onderzoek verdient.

Leg een grens bij Q1 min 1,5 keer de IQR en bij Q3 plus 1,5 keer de IQR. Punten buiten deze grens zijn vermoedelijke uitschieters.

Een booleaans masker vindt ze snel. Vergelijk je kolom met de grenzen en pandas retourneert precies de rijen die buiten de grenzen vallen.

Een andere aanpak is de z-score: het aantal standaardafwijkingen dat een punt van het gemiddelde afligt. Waarden boven ongeveer drie worden vaak als uitschieters beschouwd.

Een boxplot tekent de IQR-grens voor je en markeert alles wat erbuiten valt als afzonderlijke punten. Dit is de snelste visuele controle op uitschieters.

Verwijder een punt nooit alleen omdat het extreem is. Onderzoek het eerst, want door echte gegevens te verwijderen kun je juist het inzicht wissen dat je nodig had.

Als je een uitschieter begrijpt, kun je hem verwijderen, aftoppen of behouden. Met aftoppen van waarden bij de grens beperk je de schade op een voorzichtige manier.

Welke keuze je ook maakt, leg die vast. Een duidelijke notitie over welke uitschieters je hebt gewijzigd en waarom houdt je analyse betrouwbaar en reproduceerbaar.

Je kunt nu uitschieters opsporen met de IQR-regel of z-scores, bepalen of ze een fout of signaal zijn en er bewust mee omgaan. 🎓