Gestione dei dati mancanti

I dati mancanti sono comuni nei dataset e possono influire sull'analisi e sulle prestazioni del modello. In questa lezione esploreremo tecniche per identificare e gestire efficacemente i valori mancanti.

Identificazione dei dati mancanti

Può identificare i dati mancanti in Python utilizzando Pandas. Il metodo isnull() rileva i valori mancanti in un dataset.

Esempio:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Conteggio dei valori mancanti

Il metodo isnull() può essere combinato con sum() per contare i valori mancanti in ogni colonna.

Esempio:

print(df.isnull().sum())

Rimozione dei dati mancanti

Può rimuovere righe o colonne contenenti dati mancanti utilizzando il metodo dropna().

Esempio:

df_cleaned = df.dropna()

Riempimento dei dati mancanti

Utilizzi il metodo fillna() per sostituire i valori mancanti con valori specifici, ad esempio la media o la mediana.

Esempio:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Riempimento in avanti e all'indietro

Riempia i valori mancanti utilizzando i valori precedenti o successivi mediante method='ffill' o method='bfill'.

Esempio:

df['Age'] = df['Age'].fillna(method='ffill')

Scelta della tecnica appropriata

Quando gestisce i dati mancanti, consideri il dataset e gli obiettivi dell'analisi:

• Utilizzi dropna() per le righe con molti valori mancanti.
• Utilizzi fillna() con la media o la mediana per i dati numerici.
• Utilizzi il riempimento in avanti o all'indietro per i dati di serie temporali.

Riepilogo

In questa lezione ha imparato a:

• Identificare i valori mancanti utilizzando isnull().
• Contare i valori mancanti con sum().
• Gestire i dati mancanti rimuovendo o riempiendo i valori.
• Scegliere la tecnica appropriata in base al dataset.

Congratulazioni!

Ha completato la lezione sulla gestione dei dati mancanti. Prosegua con la lezione successiva per scoprire le tecniche di normalizzazione dei dati.