Combiner et nettoyer les colonnes de texte

Une tâche courante de préparation des données consiste à créer une seule chaîne en combinant les valeurs de plusieurs colonnes — par exemple, créer un nom complet à partir du prénom et du nom, ou une adresse à partir de la rue, de la ville et du pays. Dans Pandas, vous concaténez les colonnes de chaînes à l’aide de l’opérateur + entre deux séries (ou entre une série et une chaîne littérale), après avoir converti les colonnes numériques en chaînes avec .astype(str).

Lorsque vous combinez une colonne numérique avec une colonne de chaînes, vous devez d’abord convertir la colonne numérique en chaîne à l’aide de .astype(str). L’opérateur + de Python déclenche une erreur TypeError si vous essayez d’additionner une série de chaînes et une série d’entiers. C’est une source fréquente de confusion lors de la création de clés composites ou d’étiquettes à partir de colonnes de types différents.

Series.str.cat(others, sep=) est la méthode native de Pandas pour concaténer plusieurs Series avec un séparateur, tout en gérant correctement les valeurs NaN. Par défaut, un NaN dans une colonne entraîne un résultat NaN pour la ligne correspondante. Transmettez na_rep='?' (ou n’importe quelle chaîne) pour remplacer NaN par un espace réservé au lieu de le propager.

Dans les données réelles, les colonnes de catégories contiennent souvent des libellés incohérents dus à des fautes de frappe, à des différences de casse ou à des abréviations différentes (par exemple, 'US', 'USA', 'United States'). La correction standard consiste à créer un dictionnaire de correspondance qui associe chaque variante à la forme canonique, puis à l’appliquer avec .map() ou .replace().

Avant de comparer ou de regrouper des colonnes de texte, vous devez toujours supprimer les espaces superflus et uniformiser la casse comme première étape du nettoyage. Deux valeurs qui semblent identiques pour un humain (' Active' et 'active') sont considérées comme différentes par Pandas à cause de l’espace initial et de la différence de capitalisation. Une chaîne de deux opérations — suppression des espaces, puis passage en minuscules — corrige ces deux problèmes.

Lorsque des fautes de frappe empêchent une correspondance exacte, la correspondance approximative calcule des scores de similarité entre les chaînes. La bibliothèque rapidfuzz (ou la bibliothèque classique fuzzywuzzy) fournit une correspondance approximative vectorisée. Une procédure courante consiste, pour chaque valeur unique à nettoyer, à trouver la valeur canonique la plus proche au-dessus d’un seuil de similarité, puis à créer une table de corrections.

Une cellule contient parfois plusieurs valeurs séparées par un délimiteur (par exemple, 'python,sql,pandas'). Séparez la colonne pour obtenir des listes, puis appelez .explode() afin de créer une ligne par valeur. Cela transforme une cellule large et compacte en un format long organisé, dans lequel chaque ligne contient exactement une valeur — ce qui est nécessaire pour les opérations groupby et de jointure sur ces valeurs.

Les données textuelles provenant de différentes sources peuvent présenter des problèmes d’encodage — caractères inhabituels comme \xa0 (espace insécable), \u2019 (apostrophe courbe) ou caractères accentués déformés. Utilisez .str.encode('ascii', errors='replace').str.decode('ascii') pour un nettoyage rapide limité à ASCII, ou .str.normalize('NFKD') pour décomposer les accents avant de les supprimer.

Dans de nombreux jeux de données, vous devez créer une clé composite à partir de plusieurs colonnes afin d’identifier de manière unique une ligne lors des jointures ou de la déduplication. La combinaison de colonnes textuelles nettoyées (espaces supprimés, converties en minuscules et normalisées) en une seule chaîne de clé garantit une correspondance cohérente entre les sources de données, même lorsque le même élément est écrit légèrement différemment dans chaque source.

Après le nettoyage, vérifiez que toutes les valeurs d’une colonne de texte catégorielle appartiennent à un ensemble canonique connu. Toute valeur qui n’en fait pas partie peut signaler une nouvelle catégorie légitime ou une erreur dans les données. Consignez ou signalez les valeurs inconnues pour un examen manuel au lieu de les supprimer silencieusement, afin qu’aucune ne passe inaperçue.

Voici une chaîne complète de nettoyage du texte qui applique toutes les techniques de cette leçon : supprimer les espaces superflus, uniformiser la casse, corriger les abréviations, supprimer les caractères spéciaux et vérifier les valeurs par rapport à une liste canonique. C’est le type de fonction réutilisable que vous pourriez ajouter à n’importe quel module d’ingestion de données.

Dans cette leçon, vous avez appris à concaténer des colonnes avec l’opérateur + après avoir converti les valeurs numériques en chaînes, à utiliser str.cat(sep=) pour joindre des valeurs avec un délimiteur et gérer NaN, à appliquer une correspondance canonique avec .map() pour normaliser des libellés incohérents, et à utiliser explode() pour développer les cellules contenant des listes en lignes. Imposez des ensembles canoniques pour détecter rapidement les problèmes de qualité des données. Ensuite, vous apprendrez à trier les DataFrames selon les valeurs des colonnes.