pd.merge : jointures internes et externes

Un join combine deux DataFrames en faisant correspondre les lignes à partir d’une colonne clé commune — le même concept que la clause JOIN de SQL. Pandas implémente les join au moyen de pd.merge(). Contrairement à pd.concat(), qui empile simplement les données, pd.merge() aligne intelligemment les lignes de deux tables différentes en fonction de valeurs correspondantes dans une ou plusieurs colonnes.

Pour qu’une fusion fonctionne, les deux DataFrames doivent avoir au moins une colonne contenant des valeurs communes — la colonne clé. Par exemple, une table orders possède une colonne customer_id, et une table customers possède également une colonne customer_id. La fusion sur customer_id ajoute les informations du client à chaque ligne de commande. Indiquez la clé avec le paramètre on lorsque les deux DataFrames partagent le même nom de colonne.

Un join interne (le comportement par défaut) conserve uniquement les lignes dont la valeur clé existe dans les deux DataFrames. Les lignes de l’une ou l’autre table qui ne possèdent aucune clé correspondante dans l’autre table sont supprimées silencieusement. Dans l’exemple des commandes, les clients 103 et 104 n’ont aucune correspondance dans l’autre table ; leurs lignes sont donc exclues du résultat du join interne.

Un join externe (how='outer') conserve toutes les lignes des deux DataFrames. Lorsqu’une ligne ne possède aucune clé correspondante dans l’autre table, les colonnes manquantes sont remplies avec NaN. Cette méthode est utile lorsque vous souhaitez obtenir une vue complète des deux jeux de données, en conservant les enregistrements qui n’ont trouvé aucune correspondance.

Lorsque la colonne clé porte un nom différent dans chaque DataFrame, utilisez left_on et right_on au lieu de on. Pandas fait correspondre les lignes lorsque left_on dans le DataFrame de gauche est égal à right_on dans le DataFrame de droite. Les deux colonnes clés apparaissent dans le résultat ; vous pouvez ensuite supprimer celle qui est redondante.

Pour faire correspondre les lignes sur une combinaison de colonnes (une clé composée), transmettez une liste à on. Cette méthode est courante lorsqu’une seule colonne ne suffit pas à obtenir une correspondance unique, par exemple pour fusionner à la fois sur year et region. Toutes les colonnes indiquées doivent correspondre simultanément pour qu’une ligne soit incluse dans le résultat.

Lorsque les deux DataFrames possèdent une colonne portant le même nom (autre que la clé), Pandas ajoute des suffixes pour les distinguer. Les valeurs par défaut sont _x (à gauche) et _y (à droite). Vous pouvez les personnaliser avec le paramètre suffixes afin d’obtenir des noms plus explicites et d’éviter toute confusion dans le résultat.

Un problème courant lors d’une fusion est la multiplication inattendue des lignes. Si la colonne clé contient des valeurs dupliquées dans les deux DataFrames, la fusion produit le produit cartésien de toutes les lignes correspondantes. Vérifiez toujours le nombre de lignes après une fusion : s’il est supérieur à vos prévisions, recherchez les doublons dans la colonne clé avec df.duplicated(subset=['key']).sum().

Transmettez le paramètre validate pour imposer des contraintes de relation lors de la fusion et déclencher une erreur si elles ne sont pas respectées. 'one_to_one' exige des clés uniques dans les deux tables, 'one_to_many' exige des clés uniques uniquement dans la table de gauche, et 'many_to_one' uniquement dans celle de droite. Il s’agit d’une excellente pratique de programmation défensive, qui permet de détecter rapidement les problèmes de qualité des données.

Transmettez indicator=True pour ajouter au résultat une colonne _merge indiquant l’origine de chaque ligne : 'left_only', 'right_only' ou 'both'. Cette option est utile après un join externe pour identifier les enregistrements qui ont trouvé une correspondance et ceux qui n’en ont pas trouvé, et ainsi contrôler la qualité des données avant de supprimer la colonne d’indication.

Pour résumer les deux types de join : le join interne fournit l’intersection — uniquement les lignes dont les clés correspondent dans les deux DataFrames. Le join externe fournit l’union — toutes les lignes des deux DataFrames, avec NaN lorsqu’il n’y a aucune correspondance. Pour être complet : le join gauche conserve toutes les lignes du DataFrame de gauche, et le join droit conserve toutes les lignes du DataFrame de droite. Ces notions seront abordées dans la prochaine leçon.

Vérifiez votre compréhension des join internes et externes de pd.merge présentés dans cette leçon.

Dans cette leçon, vous avez appris que pd.merge() avec how='inner' conserve uniquement les lignes correspondantes des deux DataFrames, tandis que how='outer' conserve toutes les lignes, avec NaN pour les lignes sans correspondance ; que on indique la clé commune, tandis que left_on/right_on gèrent les noms de colonnes différents ; et que le paramètre indicator permet de contrôler les lignes qui ont trouvé une correspondance. Nous allons maintenant découvrir les join gauche et droit, qui permettent de conserver toutes les lignes d’un côté.