Gestione dei dati mancanti

I dati mancanti sono comuni nei dataset e possono influire sull'analisi e sulle prestazioni dei modelli. In questa lezione esploreremo le tecniche per identificare e gestire efficacemente i valori mancanti.

Individuazione dei dati mancanti

È possibile individuare i dati mancanti in Python utilizzando Pandas. Il metodo isnull() rileva i valori mancanti in un dataset.

Esempio:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Conteggio dei valori mancanti

Il metodo isnull() può essere combinato con sum() per contare i valori mancanti in ogni colonna.

Esempio:

print(df.isnull().sum())

Rimozione dei dati mancanti

È possibile rimuovere le righe o le colonne contenenti dati mancanti utilizzando il metodo dropna().

Esempio:

df_cleaned = df.dropna()

Riempimento dei dati mancanti

Utilizzi il metodo fillna() per sostituire i valori mancanti con valori specifici, come la media o la mediana.

Esempio:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Riempimento in avanti e all'indietro

È possibile riempire i valori mancanti utilizzando i valori precedenti o successivi tramite method='ffill' o method='bfill'.

Esempio:

df['Age'] = df['Age'].fillna(method='ffill')

Scelta della tecnica appropriata

Quando gestisce i dati mancanti, consideri il dataset e gli obiettivi dell'analisi:

• Utilizzi dropna() per le righe con molti valori mancanti.
• Utilizzi fillna() con la media o la mediana per i dati numerici.
• Utilizzi il riempimento in avanti o all'indietro per i dati di serie temporali.

Riepilogo

In questa lezione ha imparato a:

• Identificare i valori mancanti utilizzando isnull().
• Contare i valori mancanti con sum().
• Gestire i dati mancanti rimuovendo o riempiendo i valori.
• Scegliere la tecnica appropriata in base al dataset.

Congratulazioni!

Ha completato la lezione sulla gestione dei dati mancanti. Prosegua con la lezione successiva per conoscere le tecniche di normalizzazione dei dati.