Datavoorbereiding en verkennende data-analyse

Exploratory Data Analysis (EDA) is het in kaart brengen van een gegevensverzameling voordat je modellen bouwt, om de structuur, verdelingen, verbanden en kwaliteitsproblemen ervan te begrijpen. De term is bedacht door John Tukey. EDA volgt een eenvoudig principe: laat de gegevens spreken. EDA overslaan en direct modellen bouwen is, na een slechte probleembepaling, de meest voorkomende reden waarom ML-projecten mislukken. EDA voorkomt dat je modellen bouwt op gebrekkige fundamenten.

Begin altijd met een structurele inspectie: hoeveel rijen en kolommen zijn er, en welke gegevenstypen hebben ze? Gebruik df.shape, df.dtypes, df.head() en df.info(). Let op kolommen die numeriek lijken maar als object (tekenreeksen) zijn opgeslagen, en op kolommen die categorisch lijken maar als gehele getallen zijn gecodeerd. Niet-overeenkomende gegevenstypen veroorzaken later stille fouten wanneer scikit-learn een als geheel getal gecodeerde categorie behandelt als een continue variabele.

Univariate analyse onderzoekt telkens één variabele. Maak voor numerieke kenmerken histogrammen en bereken samenvattende statistieken (gemiddelde, mediaan, standaardafwijking, scheefheid). Sterk scheve verdelingen (scheefheid > 2) zijn vaak gebaat bij een logtransformatie voordat je modellen bouwt. Maak voor categorische kenmerken staafdiagrammen van de waardeaantallen. Categorieën die in minder dan 1% van de rijen voorkomen, kunnen problemen veroorzaken bij one-hotcodering en gestratificeerd splitsen.

df.describe() produceert voor elke numerieke kolom het aantal waarden, gemiddelde, standaardafwijking, minimum, kwartielen en maximum. Bekijk dit zorgvuldig: een maximumwaarde die ordes van grootte boven het 99e percentiel ligt, wijst op uitschieters. Een minimum van nul in een kolom met ‘dagen sinds de laatste aankoop’ kan betekenen dat de klant vandaag heeft gekocht — of het kan een aanduiding voor ontbrekende gegevens zijn. Als je deze randgevallen begrijpt, voorkom je stille fouten in latere voorbewerking.

Breng ontbrekende waarden in kaart voordat je beslissingen neemt over imputatie. Bereken het percentage nullen per kolom met df.isnull().mean(). Kolommen met meer dan 50% ontbrekende waarden moeten mogelijk volledig worden verwijderd. Begrijp het mechanisme achter de ontbrekende waarden: zijn ze volledig willekeurig ontbrekend (MCAR), of zijn ze niet-willekeurig ontbrekend (MNAR) — bijvoorbeeld omdat klanten die vertrokken hun accountgegevens hebben verwijderd? MNAR-ontbrekende waarden bevatten op zichzelf informatie en moeten als binaire indicator worden gecodeerd.

Bivariate analyse onderzoekt verbanden tussen paren variabelen. Bereken voor relaties tussen numerieke variabelen een correlatiematrix en visualiseer die als een heatmap met seaborn.heatmap. Correlaties boven 0.95 tussen twee kenmerken wijzen op multicollineariteit — beide kenmerken bevatten vrijwel dezelfde informatie, dus één ervan kan worden verwijderd zonder voorspellende kracht te verliezen. Bereken ook punt-biseriële correlaties tussen numerieke kenmerken en het binaire doel, om vooraf de meest voorspellende kenmerken te identificeren.

Analyseer de doelvariabele altijd afzonderlijk. Bereken bij binaire classificatie het percentage van de positieve klasse (df['churned'].mean()). Percentages onder 5% of boven 95% wijzen op een ernstige scheefheid die de keuze van het algoritme en de evaluatiemaatstaven beïnvloedt. Controleer bij regressiedoelen de normaliteit — scheve doelen zijn vaak gebaat bij een logtransformatie vóór het trainen, vooral bij boomgebaseerde modellen die hiervoor ongevoelig zijn, maar ook bij lineaire regressie van groot belang is.

Uitschieters kunnen het trainen van modellen vertekenen, vooral bij afstandsgebaseerde modellen (KNN, SVM) en lineaire regressie. Gebruik voor een eerste detectie de IQR-methode (waarden buiten [Q1 - 1.5·IQR, Q3 + 1.5·IQR] markeren) of de z-score (waarden met |z| > 3 markeren). Onderzoek elke gemarkeerde uitschieter: is het een invoerfout, een legitieme extreme waarde of een defecte sensor? Legitieme extreme waarden moet je behouden; fouten moet je corrigeren of verwijderen.

Visualiseer bij classificatietaken hoe de verdeling van elk numeriek kenmerk verschilt tussen klassen met een vioolplot of boxplot, gegroepeerd op basis van het doel. Kenmerken waarvan de verdelingen tussen de twee klassen sterk verschillen, zijn waarschijnlijk voorspellend. Maak voor categorische kenmerken een gegroepeerd staafdiagram van het vertrekpercentage per categoriewaarde, om snel te zien welke categorieën samenhangen met een hoger risico.

EDA-bevindingen moeten worden gedocumenteerd in een reproduceerbaar Jupyter-notebook dat met het team wordt gedeeld. Documenteer minimaal: welke kolommen zijn verwijderd en waarom, beslissingen over imputatie per kolom, behandeling van uitschieters, de omvang van de scheefheid tussen klassen, de belangrijkste voorspellende kenmerken en eventuele problemen met de gegevenskwaliteit die aan het data-engineeringteam zijn gemeld. Dit notebook wordt het gedeelte over gegevenskwaliteit van de uiteindelijke modelkaart en is van onschatbare waarde bij het opsporen van regressies in productie, maanden later.

Bij grote gegevensverzamelingen met honderden kenmerken is handmatige EDA onpraktisch. ydata-profiling (voorheen pandas-profiling) genereert met één functieaanroep een interactief HTML-rapport met verdelingen, correlaties, ontbrekende waarden en waarschuwingen voor uitschieters voor elke kolom. sweetviz maakt vergelijkingsrapporten voor splitsingen in trainings- en testgegevens of segmenten van doelklassen. Gebruik deze hulpmiddelen als uitgangspunt, maar vul ze altijd aan met aangepaste grafieken die specifiek zijn voor het domein en gericht op de belangrijkste kenmerken.

In deze les heb je geleerd dat EDA verdelingen, verbanden, ontbrekende waarden en uitschieters in kaart brengt voordat je modellen bouwt, dat bivariate analyse (correlaties en grafieken van kenmerken en doel) de meest voorspellende kenmerken identificeert, en dat EDA-bevindingen in een reproduceerbaar notebook moeten worden gedocumenteerd om beslissingen over voorbewerking te ondersteunen en als dossier voor de gegevenskwaliteit te dienen. Hierna voeren we een toernooi voor modelselectie uit om vijf algoritmen op dezelfde verwerkte gegevensverzameling te vergelijken.