Data wrangling e analisi esplorativa dei dati

La Exploratory Data Analysis (EDA) è l'attività di analisi di un dataset prima della modellazione, per comprenderne struttura, distribuzioni, relazioni e problemi di qualità. Il termine è stato coniato da John Tukey e l'EDA segue un principio semplice: lasciar parlare i dati. Saltare l'EDA e passare direttamente alla modellazione è il secondo motivo più comune per cui i progetti di ML falliscono, dopo una definizione inadeguata del problema. L'EDA evita di costruire modelli su fondamenta difettose.

Inizi sempre con un'ispezione strutturale: quante righe e colonne ci sono e quali sono i tipi di dati? Utilizzi df.shape, df.dtypes, df.head() e df.info(). Cerchi le colonne che sembrano numeriche ma sono memorizzate come object (stringhe) e quelle che sembrano categoriche ma sono codificate come interi. Tipi di dati non coerenti causano bug silenziosi nelle fasi successive, quando scikit-learn tratta una categoria codificata come intero alla stregua di una variabile continua.

L'analisi univariata esamina una variabile alla volta. Per le feature numeriche, tracci istogrammi e calcoli le statistiche riassuntive (media, mediana, deviazione standard, asimmetria). Le distribuzioni fortemente asimmetriche (asimmetria > 2) spesso traggono vantaggio da una trasformazione logaritmica prima della modellazione. Per le feature categoriche, tracci grafici a barre delle frequenze dei valori. Le categorie presenti in meno dell'1% delle righe possono causare problemi con la codifica one-hot e la suddivisione stratificata.

df.describe() produce conteggio, media, deviazione standard, minimo, quartili e massimo per ogni colonna numerica. La esamini con attenzione: un valore massimo di diversi ordini di grandezza superiore al 99° percentile segnala la presenza di valori anomali. Un minimo pari a zero nella colonna «giorni dall'ultimo acquisto» può significare che il cliente ha effettuato un acquisto oggi, oppure può essere un valore sentinella che indica dati mancanti. Comprendere questi casi limite previene errori silenziosi nelle fasi successive di preprocessing.

I valori mancanti devono essere analizzati prima di prendere decisioni sull'imputazione. Calcoli la percentuale di valori nulli per colonna con df.isnull().mean(). Potrebbe essere necessario eliminare completamente le colonne con più del 50% di valori mancanti. Comprenda il meccanismo alla base dei valori mancanti: si tratta di valori mancanti completamente a caso (MCAR) oppure di valori mancanti non a caso (MNAR), ad esempio perché i clienti che hanno effettuato churn hanno eliminato le informazioni del proprio account? I valori mancanti MNAR sono di per sé informativi e dovrebbero essere codificati come indicatore binario.

L'analisi bivariata esamina le relazioni tra coppie di variabili. Per le relazioni tra variabili numeriche, calcoli una matrice di correlazione e la visualizzi come heat map con seaborn.heatmap. Correlazioni superiori a 0.95 tra due feature segnalano multicollinearità: entrambe contengono informazioni quasi identiche, quindi è possibile eliminarne una senza perdere capacità predittiva. Calcoli inoltre le correlazioni punto-biseriali tra le feature numeriche e l'obiettivo binario, per individuare in anticipo le feature più predittive.

Analizzi sempre separatamente la variabile obiettivo. Per la classificazione binaria, calcoli il tasso della classe positiva (df['churned'].mean()). Tassi inferiori al 5% o superiori al 95% indicano un grave sbilanciamento, che influisce sulla scelta dell'algoritmo e sulle metriche di valutazione. Per gli obiettivi di regressione, verifichi la normalità: gli obiettivi asimmetrici spesso traggono vantaggio da una trasformazione logaritmica prima dell'addestramento, soprattutto per i modelli basati su alberi, che ne sono immuni, ma in modo cruciale per la regressione lineare.

I valori anomali possono distorcere l'addestramento del modello, soprattutto nei modelli basati sulla distanza (KNN, SVM) e nella regressione lineare. Utilizzi il metodo IQR (segnalando i valori esterni all'intervallo [Q1 - 1.5·IQR, Q3 + 1.5·IQR]) oppure lo z-score (segnalando i valori con |z| > 3) per un rilevamento iniziale. Per ogni valore anomalo segnalato, verifichi se si tratta di un errore di inserimento, di un valore estremo legittimo o di un malfunzionamento del sensore. I valori estremi legittimi devono essere conservati; gli errori devono essere corretti o rimossi.

Per le attività di classificazione, visualizzi come la distribuzione di ciascuna feature numerica differisce tra le classi utilizzando un violin plot o un box plot raggruppato in base all'obiettivo. Le feature le cui distribuzioni separano nettamente le due classi sono probabilmente predittive. Per le feature categoriche, un grafico a barre raggruppate del tasso di churn per valore della categoria mostra rapidamente quali categorie sono associate a un rischio maggiore.

I risultati dell'EDA devono essere documentati in un Jupyter notebook riproducibile e condiviso con il team. Come minimo, documenti: le colonne eliminate e il motivo, le decisioni di imputazione per ogni colonna, il trattamento dei valori anomali, l'entità dello sbilanciamento tra le classi, le feature più predittive e gli eventuali problemi di qualità dei dati sottoposti al team di data engineering. Questo notebook diventerà la sezione relativa alla qualità dei dati della futura model card e sarà prezioso per il debugging delle regressioni in produzione anche a distanza di mesi.

Per dataset di grandi dimensioni con centinaia di feature, l'EDA manuale non è praticabile. ydata-profiling (in precedenza pandas-profiling) genera con una sola chiamata di funzione un report HTML interattivo con distribuzioni, correlazioni, valori mancanti e avvisi sui valori anomali per ogni colonna. sweetviz produce report comparativi tra suddivisioni train/test o segmenti della classe obiettivo. Utilizzi questi strumenti come punto di partenza, ma completi sempre l'analisi con grafici personalizzati specifici del dominio per le feature più importanti.

In questa lezione ha imparato che: l'EDA analizza distribuzioni, relazioni, valori mancanti e valori anomali prima di qualsiasi modellazione, l'analisi bivariata (correlazioni, grafici delle relazioni tra feature e obiettivo) individua le feature più predittive e i risultati dell'EDA devono essere documentati in un notebook riproducibile per guidare le decisioni di preprocessing e fungere da registro della qualità dei dati. Ora avvieremo un confronto tra modelli per comparare cinque algoritmi sullo stesso dataset elaborato.