Interpolazione e imputazione avanzata

Il riempimento in avanti e all'indietro propagano il valore noto più vicino senza considerare la tendenza dei dati. L'interpolazione stima i valori mancanti assumendo una transizione graduale tra i valori noti: ad esempio, se la temperatura era di 20 °C lunedì e di 30 °C venerdì, l'interpolazione stima 25 °C per mercoledì. Questo produce imputazioni più realistiche per segnali che cambiano gradualmente, come dati dei sensori, prezzi o conteggi della popolazione.

Pandas interpolate() supporta diversi metodi. I più comuni sono 'linear' (valori equidistanti tra quelli noti), 'time' (tiene conto degli intervalli temporali non uniformi quando è impostato un DatetimeIndex), 'polynomial' (adatta una curva polinomiale e richiede un argomento order) e 'spline' (polinomio a tratti uniforme). Linear è l'impostazione predefinita più sicura; i metodi di ordine superiore possono causare overfitting su intervalli brevi.

Quando la Series ha un DatetimeIndex con intervalli temporali non uniformi (ad esempio, solo giorni feriali, con i fine settimana mancanti), method='time' esegue l'interpolazione in proporzione al tempo effettivamente trascorso, non solo in base alla posizione. È più preciso dell'interpolazione lineare, che considera ogni riga equidistante indipendentemente dall'intervallo del calendario.

Come ffill(), interpolate() accetta un parametro limit per limitare il numero di posizioni NaN consecutive da riempire. I NaN oltre il limite rimangono mancanti. Questo impedisce all'interpolazione di attraversare intervalli molto lunghi, in cui il valore reale potrebbe essere qualsiasi; gli intervalli lunghi dovrebbero essere segnalati per una verifica manuale.

L'imputazione con media e mediana è semplice, ma presenta importanti compromessi. La media è sensibile ai valori anomali: pochi valori molto grandi la fanno aumentare, rendendola inadatta per una distribuzione asimmetrica a destra come quella dei redditi o dei prezzi delle abitazioni. La mediana è robusta rispetto ai valori anomali ed è la scelta migliore per le colonne asimmetriche. Utilizzi la media solo quando i dati sono approssimativamente simmetrici e privi di valori anomali estremi.

L'imputazione K-Nearest Neighbour (KNN) sostituisce un valore mancante con la media (o la media ponderata) delle k righe più simili, misurata in base alla distanza tra le feature non mancanti. Questa è una strategia multivariata: utilizza le informazioni delle altre colonne per determinare il valore da inserire, risultando più precisa dell'imputazione con la media di una singola colonna quando le feature sono correlate.

KNNImputer di Scikit-learn si integra direttamente con gli array NumPy e i DataFrame Pandas.

L'imputazione multipla è considerata lo standard di riferimento per la gestione dei dati mancanti nella ricerca statistica. IterativeImputer di Scikit-learn implementa un approccio MICE (Multiple Imputation by Chained Equations): modella ogni colonna con valori mancanti in funzione delle altre colonne, ripetendo l'imputazione finché i valori convergono. Questo cattura le relazioni tra le feature meglio delle strategie basate su una singola colonna.

Invece di nascondere il fatto che un valore è stato imputato, è buona pratica aggiungere una colonna indicatrice binaria che segnali quali righe contenevano valori mancanti prima dell'imputazione. In questo modo i modelli a valle possono apprendere dal modello stesso dei valori mancanti: a volte il fatto che un valore manchi è predittivo quanto il valore stesso.

Una regola fondamentale nelle pipeline di machine learning è calcolare le statistiche di imputazione (media, mediana, moda) solo sul training set, quindi applicare gli stessi valori al test set. Calcolare le statistiche sull'intero dataset prima della suddivisione causa una fuga di dati: il modello vede indirettamente i dati di test durante l'addestramento, gonfiando le stime delle prestazioni. Adatti sempre gli imputatori ai dati di addestramento e trasformi sia i dati di addestramento sia quelli di test.

Dopo aver applicato diversi metodi di imputazione, ne confronti l'effetto tracciando fianco a fianco la distribuzione delle colonne originali e imputate. Una buona imputazione dovrebbe preservare il più possibile la forma (media, varianza, asimmetria) della distribuzione originale. L'imputazione con la media restringe la distribuzione; KNN e MICE tendono a preservarla meglio.

Non esiste una strategia di imputazione universalmente migliore: la scelta corretta dipende dal contesto. Utilizzi mean/median per casi univariati semplici con pochi valori mancanti. Utilizzi ffill/bfill per serie temporali con tendenze stabili. Utilizzi KNN o IterativeImputer quando le feature sono correlate e desidera sfruttare le loro relazioni. Utilizzi costanti definite dal dominio (ad esempio, 0 per assente, -1 per sconosciuto) quando il valore mancante ha un significato aziendale chiaro. Documenti sempre la Sua scelta.

In questa lezione ha imparato che: interpolate() stima i valori mancanti assumendo una tendenza graduale tra i valori noti, method='time' gestisce gli intervalli non uniformi di DatetimeIndex e strategie avanzate come KNNImputer e IterativeImputer utilizzano le altre colonne per determinare i valori da inserire. Aggiunga sempre colonne indicatrici prima dell'imputazione e calcoli le statistiche solo sul training set per evitare la fuga di dati. Ora esamineremo e convertiremo i tipi di dati delle colonne del DataFrame.