Databearbetning och explorativ dataanalys

Explorativ dataanalys (EDA) innebär att profilera ett dataset före modellering för att förstå dess struktur, fördelningar, samband och kvalitetsproblem. Begreppet myntades av John Tukey och EDA bygger på en enkel princip: låt data tala. Att skynda förbi EDA och gå direkt till modellering är den näst vanligaste orsaken till att ML-projekt misslyckas, efter bristfällig problemavgränsning. EDA hindrar er från att bygga modeller på bristfälliga grunder.

Börja alltid med en strukturell granskning: hur många rader och kolumner finns det, och vilka datatyper används? Använd df.shape, df.dtypes, df.head() och df.info(). Leta efter kolumner som verkar numeriska men lagras som object (strängar), samt kolumner som verkar kategoriska men är kodade som heltal. Felaktiga datatyper orsakar tysta fel längre fram när scikit-learn behandlar en heltalskodad kategori som en kontinuerlig variabel.

Univariat analys undersöker en variabel i taget. För numeriska egenskaper ritar ni histogram och beräknar sammanfattande statistik (medelvärde, median, standardavvikelse, skevhet). Kraftigt skeva fördelningar (skevhet > 2) gynnas ofta av en logaritmisk transformering före modellering. För kategoriska egenskaper ritar ni stapeldiagram över värdefrekvenser. Kategorier som förekommer i färre än 1 % av raderna kan orsaka problem med one-hot-kodning och stratifierad uppdelning.

df.describe() producerar antal, medelvärde, standardavvikelse, minsta värde, kvartiler och maximalt värde för varje numerisk kolumn. Granska resultatet noggrant: ett maximalt värde som är flera storleksordningar högre än den 99:e percentilen signalerar avvikande värden. Ett minvärde på noll i en kolumn med ”dagar sedan senaste köp” kan betyda att kunden handlade i dag – eller vara en platshållare för saknade data. Genom att förstå dessa specialfall förhindrar ni tysta fel i den fortsatta förbehandlingen.

Saknade värden måste profileras innan beslut om imputering fattas. Beräkna andelen nullvärden per kolumn med df.isnull().mean(). Kolumner där mer än 50 % saknas kan behöva tas bort helt. Förstå mekanismen bakom de saknade värdena: är de helt slumpmässigt saknade (MCAR), eller är de inte slumpmässigt saknade (MNAR) – exempelvis att kunder som lämnat tjänsten raderade sin kontoinformation? MNAR är i sig informativt och bör kodas som en binär indikator.

Bivariat analys undersöker samband mellan par av variabler. För samband mellan numeriska variabler beräknar ni en korrelationsmatris och visualiserar den som en värmekarta med seaborn.heatmap. Korrelationer över 0.95 mellan två egenskaper signalerar multikollinearitet – båda egenskaperna innehåller nästan samma information, så den ena kan tas bort utan att den prediktiva förmågan går förlorad. Beräkna även punkt-biseriala korrelationer mellan numeriska egenskaper och det binära målet för att tidigt identifiera de mest prediktiva egenskaperna.

Analysera alltid målvariabeln separat. För binär klassificering beräknar ni andelen positiva klasser (df['churned'].mean()). Andelar under 5 % eller över 95 % visar på en allvarlig obalans som påverkar val av algoritm och utvärderingsmått. För regressionsmål ska ni kontrollera normalfördelning – skeva målvariabler gynnas ofta av en logaritmisk transformering före träning, särskilt för träd-baserade modeller som är immuna mot detta, men transformeringen är kritisk för linjär regression.

Avvikande värden kan förvränga modellträningen, särskilt för avståndsbaserade modeller (KNN, SVM) och linjär regression. Använd IQR-metoden (flagga värden utanför [Q1 - 1.5·IQR, Q3 + 1.5·IQR]) eller z-poäng (flagga värden där |z| > 3) för den inledande detekteringen. Undersök varje flaggat avvikande värde: beror det på ett inmatningsfel, är det ett legitimt extremvärde eller ett sensorfel? Legitimt extrema värden ska behållas; fel ska korrigeras eller tas bort.

För klassificeringsuppgifter visualiserar ni hur fördelningen för varje numerisk egenskap skiljer sig mellan klasserna med ett violinplot eller boxplot grupperat efter målet. Egenskaper där fördelningarna tydligt skiljer de två klasserna åt är sannolikt prediktiva. För kategoriska egenskaper visar ett grupperat stapeldiagram över andelen kundbortfall per kategori snabbt vilka kategorier som är förknippade med högre risk.

EDA-resultat måste dokumenteras i en reproducerbar Jupyter-anteckningsbok som delas med teamet. Dokumentera åtminstone: vilka kolumner som togs bort och varför, beslut om imputering per kolumn, hantering av avvikande värden, omfattningen av klassobalansen, de viktigaste prediktiva egenskaperna samt eventuella datakvalitetsproblem som har eskalerats till data engineering-teamet. Anteckningsboken blir datakvalitetsavsnittet i det framtida modellkortet och är ovärderlig vid felsökning av regressionsproblem i produktion flera månader senare.

För stora dataset med hundratals egenskaper är manuell EDA opraktisk. ydata-profiling (tidigare pandas-profiling) genererar en interaktiv HTML-rapport med fördelningar, korrelationer, saknade värden och varningar om avvikande värden för varje kolumn genom ett enda funktionsanrop. sweetviz skapar jämförelserapporter för uppdelningar av tränings- och testdata eller segment av målklasser. Använd dessa som utgångspunkt, men komplettera alltid med domänspecifika diagram för de viktigaste egenskaperna.

I den här lektionen har ni lärt er att EDA profilerar fördelningar, samband, saknade värden och avvikande värden före all modellering, att bivariat analys (korrelationer och diagram över samband mellan egenskaper och mål) identifierar de mest prediktiva egenskaperna samt att EDA-resultat måste dokumenteras i en reproducerbar anteckningsbok för att vägleda beslut om förbehandling och fungera som dokumentation av datakvaliteten. Nästa steg är en modellvalsturnering där vi jämför fem algoritmer på samma bearbetade dataset.