Gestion des données manquantes

Les données manquantes sont courantes dans les jeux de données et peuvent avoir une incidence sur l’analyse et les performances des modèles. Dans cette leçon, vous découvrirez des techniques permettant d’identifier et de gérer efficacement les valeurs manquantes.

Identifier les données manquantes

Vous pouvez identifier les données manquantes en Python à l’aide de Pandas. La méthode isnull() détecte les valeurs manquantes dans un ensemble de données.

Exemple :

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Compter les valeurs manquantes

La méthode isnull() peut être combinée avec sum() pour compter les valeurs manquantes dans chaque colonne.

Exemple :

print(df.isnull().sum())

Suppression des données manquantes

Vous pouvez supprimer les lignes ou les colonnes contenant des données manquantes à l’aide de la méthode dropna().

Exemple :

df_cleaned = df.dropna()

Remplir les données manquantes

Utilisez la méthode fillna() pour remplacer les valeurs manquantes par des valeurs précises, comme une moyenne ou une médiane.

Exemple :

df['Age'] = df['Age'].fillna(df['Age'].mean())

Remplissage vers l’avant et vers l’arrière

Remplissez les valeurs manquantes à l’aide des valeurs qui les précèdent ou les suivent avec method='ffill' ou method='bfill'.

Exemple :

df['Age'] = df['Age'].fillna(method='ffill')

Choix de la technique appropriée

Tenez compte du jeu de données et des objectifs de l’analyse lorsque vous gérez des données manquantes :

• Utilisez dropna() pour les lignes comportant de nombreuses valeurs manquantes.
• Utilisez fillna() avec la moyenne ou la médiane pour les données numériques.
• Utilisez le remplissage vers l’avant ou vers l’arrière pour les données de séries temporelles.

Récapitulatif

Dans cette leçon, vous avez appris à :

• Identifier les valeurs manquantes à l’aide de isnull().
• Compter les valeurs manquantes avec sum().
• Gérer les données manquantes en supprimant ou en remplissant les valeurs.
• Choisir la technique appropriée en fonction de votre jeu de données.

Félicitations !

Vous avez terminé la leçon sur le traitement des données manquantes. Passez à la leçon suivante pour découvrir les techniques de normalisation des données.