Gérer les données manquantes

Les données manquantes sont courantes dans les jeux de données et peuvent influencer l’analyse ainsi que les performances des modèles. Dans cette leçon, vous découvrirez des techniques permettant d’identifier et de gérer efficacement les valeurs manquantes.

Identifier les données manquantes

Vous pouvez identifier les données manquantes en Python avec Pandas. La méthode isnull() détecte les valeurs manquantes dans un jeu de données.

Exemple :

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Compter les valeurs manquantes

La méthode isnull() peut être combinée avec sum() pour compter les valeurs manquantes dans chaque colonne.

Exemple :

print(df.isnull().sum())

Supprimer les données manquantes

Vous pouvez supprimer les lignes ou les colonnes contenant des données manquantes à l’aide de la méthode dropna().

Exemple :

df_cleaned = df.dropna()

Remplir les données manquantes

Utilisez la méthode fillna() pour remplacer les valeurs manquantes par des valeurs précises, comme une moyenne ou une médiane.

Exemple :

df['Age'] = df['Age'].fillna(df['Age'].mean())

Remplissage vers l’avant et vers l’arrière

Remplissez les valeurs manquantes avec les valeurs qui les précèdent ou les suivent à l’aide de method='ffill' ou method='bfill'.

Exemple :

df['Age'] = df['Age'].fillna(method='ffill')

Choisir la bonne technique

Tenez compte du jeu de données et des objectifs de l’analyse lorsque vous gérez des données manquantes :

• Utilisez dropna() pour les lignes comportant de nombreuses valeurs manquantes.
• Utilisez fillna() avec la moyenne ou la médiane pour les données numériques.
• Utilisez le remplissage vers l’avant ou vers l’arrière pour les données de séries temporelles.

Récapitulatif

Dans cette leçon, vous avez appris à :

• Identifier les valeurs manquantes avec isnull().
• Compter les valeurs manquantes avec sum().
• Gérer les données manquantes en supprimant ou en remplissant les valeurs.
• Choisir la bonne technique en fonction de votre jeu de données.

Félicitations !

Vous avez terminé la leçon sur la gestion des données manquantes. Passez à la leçon suivante pour découvrir les techniques de normalisation des données.