pd.concat pour empiler des DataFrames

Dans les projets réels, les données arrivent rarement dans un seul fichier. Vous pouvez disposer de fichiers de ventes mensuels, d’exports d’enquêtes régionales ou de résultats de requêtes de base de données répartis entre plusieurs requêtes. La concaténation empile ces DataFrames distincts pour former un tableau combiné. Pandas fournit pd.concat() à cette fin, en prenant en charge l’empilement vertical, ligne par ligne, comme horizontal, colonne par colonne.

L’utilisation la plus courante de pd.concat() consiste à empiler des DataFrames verticalement, c’est-à-dire à ajouter des lignes. Transmettez une liste de DataFrames et la fonction les ajoute les uns sous les autres. Les deux DataFrames doivent avoir des colonnes compatibles pour obtenir un résultat propre. Pandas aligne automatiquement les colonnes selon leur nom et remplit les colonnes manquantes avec NaN.

Remarquez que pd.concat() conserve les index d’origine de chaque DataFrame, ce qui peut produire des valeurs d’index en double, comme ci-dessus avec deux lignes à l’index 0 et deux à l’index 1. Transmettez ignore_index=True pour créer un nouvel index entier séquentiel dans le résultat combiné ; c’est presque toujours ce que vous souhaitez.

Lorsque vous concaténez des données provenant de plusieurs sources, vous pouvez souhaiter savoir de quel DataFrame d’origine provient chaque ligne. Transmettez le paramètre keys avec une liste d’étiquettes. Pandas crée un MultiIndex dont le niveau externe identifie la source. Vous pouvez ensuite utiliser .loc['label'] pour accéder aux lignes d’une source précise.

Transmettez axis=1 pour concaténer les DataFrames côte à côte, c’est-à-dire en ajoutant des colonnes. Pandas les aligne selon l’index des lignes ; les deux DataFrames doivent donc avoir le même index pour obtenir un résultat propre. Si les index diffèrent, les lignes sans correspondance sont remplies avec NaN. Cette technique est utile pour combiner des caractéristiques calculées à partir du même jeu de données au cours d’étapes distinctes.

Si les DataFrames concaténés comportent des colonnes différentes, Pandas conserve toutes les colonnes et remplit les valeurs manquantes avec NaN. Il s’agit du comportement par défaut de join='outer'. Si vous souhaitez conserver uniquement les colonnes présentes dans tous les DataFrames, transmettez join='inner' ; toute colonne absente d’une source est alors supprimée.

Lors du chargement de plusieurs fichiers, un modèle courant consiste à rassembler tous les DataFrames dans une liste, puis à appeler pd.concat() une seule fois à la fin. Évitez de concaténer dans une boucle, par exemple avec df = pd.concat([df, new_chunk]), car cela crée une nouvelle copie de DataFrame à chaque itération et entraîne une complexité temporelle quadratique pour les grandes collections.

pd.concat() fonctionne aussi bien avec les Series qu’avec les DataFrames. Concaténer verticalement une liste de Series produit une Series plus longue. Une concaténation avec axis=1 produit un DataFrame dans lequel chaque Series devient une colonne. Les Series sont alignées selon leur index ; les étiquettes d’index doivent donc correspondre pour obtenir une concaténation horizontale propre.

Après une concaténation, vérifiez toujours que le résultat possède la forme attendue et ne contient pas de valeurs NaN inattendues. Une vérification rapide consiste à comparer le nombre de lignes combiné à la somme des nombres de lignes individuels, puis à appeler isna().sum() pour repérer les valeurs manquantes introduites involontairement par un mauvais alignement des colonnes. Ces vérifications empêchent les problèmes silencieux de qualité des données de se propager dans votre analyse.

Les anciens codes Pandas peuvent utiliser df.append(other), qui était un raccourci pratique autour de pd.concat(). Cette méthode a été déclarée obsolète dans Pandas 1.4, puis supprimée dans Pandas 2.0. Utilisez toujours pd.concat([df, other], ignore_index=True) dans le code moderne. Le comportement est identique, mais pd.concat est plus explicite et permet de concaténer plus de deux DataFrames à la fois.

Voici un modèle réaliste : charger les DataFrames mensuels, ajouter une étiquette de source, les concaténer, puis calculer un résumé pour l’année entière. Le paramètre keys facilite le suivi de chaque ligne jusqu’à son mois, tandis que ignore_index=True, associé à une colonne indiquant le mois, fournit un DataFrame aplati et propre pour l’analyse par groupes.

Vérifiez votre compréhension de pd.concat pour empiler les DataFrames présentés dans cette leçon.

Dans cette leçon, vous avez appris à empiler des DataFrames verticalement avec pd.concat() et ignore_index=True, à suivre les sources à l’aide du paramètre keys, et à comprendre comment join='inner' vs 'outer' contrôle la gestion des colonnes lorsque les schémas diffèrent. Nous allons maintenant découvrir pd.merge() pour effectuer des join internes et externes de style SQL sur des colonnes clés communes.