Dataklargøring og eksplorativ dataanalyse

Eksplorativ dataanalyse (EDA) er en metode, hvor et datasæt profileres før modellering for at forstå dets struktur, fordelinger, sammenhænge og kvalitetsproblemer. Begrebet blev introduceret af John Tukey, og EDA følger et enkelt princip: lad dataene tale. Hvis du skynder dig forbi EDA og går direkte til modellering, er det den næsthyppigste årsag til, at ML-projekter mislykkes, kun overgået af dårlig problem­afgrænsning. EDA forhindrer dig i at bygge modeller på et mangelfuldt grundlag.

Begynd altid med en strukturel gennemgang: Hvor mange rækker og kolonner er der, og hvilke datatyper bruges? Brug df.shape, df.dtypes, df.head() og df.info(). Se efter kolonner, der ser numeriske ud, men er gemt som object (strenge), samt kolonner, der ser kategoriske ud, men er kodet som heltal. Uoverensstemmende datatyper forårsager skjulte fejl senere i behandlingen, når scikit-learn behandler en heltalskodet kategori som en kontinuert variabel.

Univariat analyse undersøger én variabel ad gangen. For numeriske funktioner skal du tegne histogrammer og beregne opsummerende statistikker (gennemsnit, median, standardafvigelse, skævhed). Meget skæve fordelinger (skævhed > 2) har ofte gavn af en logaritmisk transformation før modellering. For kategoriske funktioner skal du tegne søjlediagrammer over værdioptællinger. Kategorier, der forekommer i færre end 1 % af rækkerne, kan give problemer med one-hot-kodning og stratificeret opdeling.

df.describe() viser antal, gennemsnit, standardafvigelse, minimum, kvartiler og maksimum for hver numerisk kolonne. Undersøg tabellen grundigt: En maksimumværdi, der er mange størrelsesordener større end 99-percentilen, er et tegn på afvigende værdier. Et minimum på nul i en kolonne med »dage siden seneste køb« kan betyde, at kunden købte noget i dag — eller det kan være en markør for manglende data. Når du forstår disse særtilfælde, forebygger du skjulte fejl i den efterfølgende forbehandling.

Manglende værdier skal profileres, før du træffer beslutninger om imputering. Beregn procentdelen af nuller pr. kolonne med df.isnull().mean(). Kolonner med mere end 50 % manglende data bør måske fjernes helt. Forstå mekanismen bag de manglende værdier: Er de helt tilfældigt manglende (MCAR), eller er de ikke tilfældigt manglende (MNAR) — f.eks. fordi kunder, der forlod virksomheden, slettede deres kontooplysninger? MNAR-manglende data er i sig selv informative og bør kodes som en binær indikator.

Bivariat analyse undersøger relationer mellem par af variabler. For relationer mellem numeriske variabler skal du beregne en korrelationsmatrix og visualisere den som et varmekort med seaborn.heatmap. Korrelationer over 0,95 mellem to funktioner er tegn på multikollinearitet — begge funktioner indeholder næsten identisk information, så den ene kan fjernes uden at miste forudsigelseskraft. Beregn også punkt-biseriale korrelationer mellem numeriske funktioner og det binære mål for på forhånd at identificere de mest forudsigende funktioner.

Analyser altid målvariablen separat. Ved binær klassifikation skal du beregne andelen af positive klasser (df['churned'].mean()). Andele under 5 % eller over 95 % tyder på en alvorlig ubalance, som påvirker valg af algoritme og evalueringsmål. For regressionsmål skal du kontrollere normaliteten — skæve mål har ofte gavn af en logaritmisk transformation før træning, især for træbaserede modeller, som er robuste over for dette, men det er afgørende for lineær regression.

Afvigende værdier kan forvrænge modeltræningen, især for afstandsbaserede modeller (KNN, SVM) og lineær regression. Brug IQR-metoden (markér værdier uden for [Q1 - 1.5·IQR, Q3 + 1.5·IQR]) eller z-score (markér værdier med |z| > 3) til den indledende registrering. Undersøg hver markeret afvigende værdi: Er det en fejl ved dataindtastningen, en legitim ekstremværdi eller en sensorfejl? Legitime ekstremværdier bør beholdes; fejl bør rettes eller fjernes.

Ved klassifikationsopgaver skal du visualisere, hvordan fordelingen af hver numerisk funktion varierer mellem klasserne, ved hjælp af et violinplot eller boksplot grupperet efter målet. Funktioner, hvor fordelingerne tydeligt adskiller de to klasser, er sandsynligvis forudsigende. For kategoriske funktioner viser et grupperet søjlediagram over frafaldsraten for hver kategoriværdi hurtigt, hvilke kategorier der er forbundet med højere risiko.

EDA-resultater skal dokumenteres i en reproducerbar Jupyter-notesbog, der deles med teamet. Som minimum skal du dokumentere: fjernede kolonner og årsagerne til det, beslutninger om imputering for hver kolonne, behandling af afvigende værdier, omfanget af klasseubalancen, de vigtigste forudsigende funktioner og eventuelle problemer med datakvaliteten, der er sendt videre til data engineering-teamet. Denne notesbog bliver datakvalitetsafsnittet i det endelige modelkort og er uvurderlig ved fejlfinding af regressioner i produktionen flere måneder senere.

Ved store datasæt med hundredvis af funktioner er manuel EDA upraktisk. ydata-profiling (tidligere pandas-profiling) genererer en interaktiv HTML-rapport med fordelinger, korrelationer, manglende værdier og advarsler om afvigende værdier for hver kolonne med ét funktionskald. sweetviz opretter sammenligningsrapporter på tværs af opdelinger i trænings- og testdata eller segmenter af målklasser. Brug disse værktøjer som udgangspunkt, men følg altid op med domænespecifikke diagrammer for de vigtigste funktioner.

I denne lektion lærte du, at EDA profilerer fordelinger, relationer, manglende værdier og afvigende værdier før modellering, at bivariat analyse (korrelationer og diagrammer over funktioner og mål) identificerer de mest forudsigende funktioner, og at EDA-resultater skal dokumenteres i en reproducerbar notesbog for at understøtte beslutninger om forbehandling og fungere som dokumentation for datakvaliteten. Næste gang gennemfører vi en modelvalgsturnering for at sammenligne fem algoritmer på det samme behandlede datasæt.