Standardiser les catégories incohérentes

Lorsque des données catégorielles sont saisies par des personnes, un même concept peut apparaître sous de nombreuses graphies différentes : Electronics, electronics, ELECTRONICS, Electronicss. Un groupby sur cette colonne produit des dizaines de petits groupes au lieu d’un seul groupe pertinent. Standardiser les catégories en une liste canonique est l’une des étapes de nettoyage les plus importantes avant toute agrégation ou création de variables pour l’apprentissage automatique.

La première étape de standardisation, et la plus simple, consiste à normaliser la casse et les espaces. Appliquez .str.strip().str.lower() pour supprimer les espaces de début et de fin et convertir toutes les valeurs en minuscules avant toute autre comparaison. Cette seule étape regroupe de nombreuses variantes : Electronics, electronics et ' Electronics ' deviennent toutes electronics après normalisation.

Après la normalisation de la casse, de nombreuses variantes restent distinctes en raison d’abréviations, de synonymes ou d’anciens noms. Construisez un dictionnaire d’association des alias dont les clés sont les graphies variantes et les valeurs, la forme canonique. Appliquez-le avec df['category_clean'].map(alias_map).fillna(df['category_clean']) — fillna conserve les valeurs absentes du dictionnaire au lieu de les remplacer par NaN.

Certains noms de catégories comportent des erreurs de formatage récurrentes, comme des espaces doubles ou des chiffres en fin de chaîne. Utilisez .str.replace() avec une expression régulière pour corriger ces motifs dans toutes les lignes en une seule fois. Par exemple, .str.replace(r'\s+', ' ', regex=True) réduit plusieurs espaces à un seul, tandis que .str.replace(r'\d+$', '', regex=True) supprime les chiffres placés en fin de nom de catégorie.

Lorsque les fautes de frappe sont imprévisibles, utilisez la recherche approximative pour trouver, pour chaque variante, la catégorie canonique la plus proche. La fonction intégrée à Python difflib.get_close_matches() renvoie les meilleures correspondances parmi une liste de catégories valides, selon la similarité des chaînes. Appliquez-la comme fonction auxiliaire avec df['category'].apply() pour résoudre les variantes que map() ne peut pas détecter seule.

Définissez explicitement vos catégories canoniques plutôt que de les déduire des données. Une liste codée en dur fait passer chaque valeur par une étape de validation ; toute valeur absente de la liste est signalée comme inconnue. Conservez la liste canonique dans un fichier de configuration ou dans une colonne distincte d’un DataFrame afin de pouvoir la mettre facilement à jour lorsque l’entreprise ajoute une nouvelle catégorie de produits, sans modifier le code de nettoyage.

Les catégories inconnues qui ne correspondent à aucune valeur canonique après la correction approximative doivent être regroupées sous le libellé Other plutôt que supprimées, afin de ne pas perdre silencieusement des lignes. Définissez-les sur 'other' avec np.where() ou une simple affectation conditionnelle. Consignez le nombre de lignes associées à 'other' et examinez-les pour repérer des motifs pouvant justifier la création d’une nouvelle catégorie canonique.

Après la standardisation, convertissez la colonne de catégories nettoyée en type Pandas Categorical en fournissant explicitement la liste des catégories valides. Cela impose le schéma : toute tentative d'affecter une catégorie invalide déclenche une erreur. Cela réduit également l'utilisation de la mémoire en enregistrant en interne les chaînes de catégories sous forme de codes entiers, et accélère les opérations groupby sur les grands DataFrames.

Après toutes les étapes de standardisation, effectuez une validation finale : vérifiez qu'aucune valeur absente de l'ensemble canonique ne se trouve dans la colonne nettoyée. Utilisez assert df['category_final'].isin(valid_set).all(). Placez cette assertion à la fin de la fonction de nettoyage afin qu'elle soit exécutée à chaque lancement du pipeline et qu'elle détecte les régressions lorsque de nouvelles données brutes contiennent des libellés de catégories encore inconnus.

Créez une table des différences présentant la valeur d'origine et son remplacement nettoyé pour chaque ligne modifiée. Cette piste d'audit permet aux responsables des données d'examiner, puis d'approuver ou de rejeter, des correspondances précises. Utilisez un masque booléen pour sélectionner les lignes modifiées et comparez côte à côte les colonnes d'origine et finales. Exportez les différences au format CSV afin que les parties prenantes non techniques puissent les examiner.

Remplacez la colonne de catégories désordonnée d'origine par la colonne standardisée et supprimez les colonnes de travail intermédiaires avant l'enregistrement. Stockez le dictionnaire de correspondance des alias et le seuil de correction approximative dans la configuration du pipeline afin que la standardisation soit entièrement reproductible. Un nettoyage effectué deux mois plus tard sur un nouveau vidage de données doit produire des résultats identiques pour les mêmes valeurs d'entrée.

Dans cette leçon, vous avez appris à : normaliser la casse et les espaces comme première étape de standardisation, faire correspondre les alias et appliquer une correspondance approximative pour corriger les fautes de frappe, et imposer une liste canonique de catégories avec le type Categorical et des assertions. Nous allons maintenant explorer la validation du schéma et les assertions à l'exécution afin de protéger chaque étape du pipeline.