Verwijderen of invullen: verstandig kiezen

Wanneer u ontbrekende gegevens tegenkomt, staat u voor één belangrijke keuze: de betreffende rijen droppen of ze invullen. De juiste keuze hangt af van hoeveel u met beide opties verliest. 🛣️

De methode dropna() verwijdert elke rij met minstens één ontbrekende waarde. Dat is helder en eenvoudig, maar er kan ongemerkt veel data verdwijnen.

Als één kolom grotendeels leeg is, verwijdert u de hele kolom met axis=1. Soms richt één slechte kolom meer schade aan dan de rijen waarin deze voorkomt.

Verwijderen werkt goed wanneer ontbrekende waarden zeldzaam en verspreid zijn. Het verlies van een klein deel van een grote dataset verandert uw conclusies meestal niet.

Als veel rijen zelfs maar één ontbrekende waarde bevatten, kan verwijderen uw gegevens drastisch verkleinen. Erger nog: de rijen die u verliest zijn mogelijk niet willekeurig, waardoor resultaten vertekend raken.

Het alternatief is ontbrekende cellen met een zinvolle waarde in te vullen met fillna(). U behoudt elke rij, maar neemt wel het risico dat u enkele getallen verzint.

Onthoud dat elke ingevulde waarde een schatting is. Een goede invulling is redelijk en gedocumenteerd; een onzorgvuldige invulling verbergt het probleem en vertekent uw statistieken.

Met thresh kunt u rijen behouden die voldoende echte gegevens bevatten. Deze parameter stelt het minimumaantal niet-ontbrekende waarden in dat een rij moet hebben om behouden te blijven.

Gebruik subset om rijen alleen te verwijderen wanneer een specifieke sleutelkolom ontbreekt. Zo beschermt u de rest van uw gegevens tegen onnodige verwijdering.

Vraag voordat u beslist waarom de waarde ontbreekt. Gegevens die willekeurig ontbreken kunt u veilig invullen, maar een systematisch ontbrekende waarde kan zelf een betekenisvol signaal zijn.

Een handige richtlijn: verwijder wanneer er weinig ontbreekt en vul in wanneer rijen waardevol zijn. Ga altijd na hoe elke keuze uw verdeling verandert voordat u beslist.

U weegt nu verwijderen tegenover invullen af op basis van hoeveel gegevens u verliest en waarom waarden ontbreken. Gebruik dropna, thresh en subset om zorgvuldig te verwijderen.