Eliminare o riempire: scegliere con criterio

Quando incontra dati mancanti, deve compiere una scelta fondamentale: eliminare le righe interessate oppure completarle. La scelta giusta dipende da quanto si perde in ciascun caso. 🛣️

Il metodo dropna() rimuove ogni riga che contiene almeno un valore mancante. È una soluzione semplice e pulita, ma può eliminare silenziosamente molti dati.

Se una colonna è quasi completamente vuota, elimini l'intera colonna con axis=1. A volte una sola colonna problematica danneggia l'analisi più delle righe che la contengono.

L'eliminazione funziona bene quando i valori mancanti sono rari e distribuiti senza uno schema preciso. Perdere una piccola frazione di un dataset grande raramente modifica le conclusioni.

Se molte righe presentano anche una sola mancanza, l'eliminazione può ridurre drasticamente i dati. Inoltre, le righe perse potrebbero non essere casuali, introducendo una distorsione nei risultati.

L'alternativa consiste nel completare le celle mancanti con un valore sensato usando fillna(). In questo modo conserva tutte le righe, al costo di inventare alcuni valori.

Ricordi che ogni valore inserito è una stima. Un buon completamento è ragionevole e documentato; uno eseguito senza attenzione nasconde la mancanza e altera le statistiche.

Può mantenere le righe che contengono una quantità sufficiente di dati reali usando thresh, che stabilisce il numero minimo di valori non mancanti che una riga deve avere per essere conservata.

Usi subset per eliminare le righe solo quando manca una specifica colonna fondamentale. In questo modo protegge il resto dei dati da eliminazioni non necessarie.

Prima di decidere, si chieda perché il valore è assente. I dati mancanti in modo casuale possono essere completati senza problemi, ma una mancanza sistematica può essere un segnale significativo.

Una guida utile: elimini quando le mancanze sono poche, completi quando le righe sono preziose. Valuti sempre come ogni scelta modifica la sua distribuzione prima di procedere.

Una colonna è vuota all'80%, ma ogni riga contiene dati utili altrove. Qual è generalmente la scelta più saggia?

Ora sa valutare eliminazione e completamento in base alla quantità di dati persi e al motivo per cui mancano i valori. Usi dropna, thresh e subset per eliminare i dati con cautela.