melt : du format large au format long

Les données peuvent être structurées selon deux formes fondamentales. Le format large comporte une ligne par sujet et répartit les mesures sur plusieurs colonnes, par exemple une colonne distincte pour les ventes de janvier, février et mars. Le format long comporte une ligne par observation, avec une colonne pour le nom de la variable et une autre pour sa valeur. La plupart des fonctions d’analyse de Pandas, des bibliothèques d’apprentissage automatique et des outils de visualisation préfèrent le format long, ce qui fait de melt() un outil de transformation essentiel.

pd.melt(df) (également disponible sous la forme df.melt()) convertit un DataFrame large au format long. Les paramètres essentiels sont id_vars (colonnes à conserver comme identifiants, sans modification), value_vars (colonnes à transformer en lignes), var_name (nom de la nouvelle colonne de variables) et value_name (nom de la nouvelle colonne de valeurs).

Appelez melt() en définissant id_vars sur les colonnes que vous souhaitez conserver comme identifiants. Toutes les autres colonnes sont transformées : leur nom devient une valeur dans la nouvelle colonne de variables et leurs valeurs de cellule sont déplacées dans la colonne de valeurs. Le nombre de lignes en sortie est égal au nombre de lignes en entrée multiplié par le nombre de colonnes de valeurs transformées.

Par défaut, toute colonne qui ne figure pas dans id_vars est transformée. Utilisez value_vars pour ne transformer qu’un sous-ensemble de colonnes. Les colonnes qui ne figurent ni dans id_vars ni dans value_vars sont supprimées du résultat. C’est utile lorsque votre DataFrame large contient à la fois des colonnes de séries temporelles et d’autres attributs que vous ne souhaitez pas transformer.

melt() conserve les index de lignes d’origine en les répétant pour chaque variable. Le résultat possède souvent un index non séquentiel tel que [0, 1, 0, 1, 0, 1]. Il est recommandé d’appeler immédiatement reset_index(drop=True) après melt() afin d’obtenir dans le résultat un index séquentiel propre, allant de 0 à n-1.

melt() est conceptuellement l’opération inverse de pivot() / pivot_table(). Vous pouvez passer du format long au format large avec pivot_table(), puis revenir au format long avec melt(). Cette conversion réversible est souvent utilisée dans les pipelines : recevoir des données au format large, les restructurer au format long pour les graphiques Seaborn ou les caractéristiques destinées à l’apprentissage automatique, puis éventuellement les convertir de nouveau pour une table de rapport.

Les graphiques catégoriels et relationnels de Seaborn fonctionnent mieux avec des données au format long. Voici un flux de travail courant : commencez par un DataFrame au format large comportant une colonne par groupe, utilisez melt() pour le convertir au format long afin qu’une colonne identifie le groupe et qu’une autre contienne les valeurs, puis transmettez ces deux colonnes aux paramètres hue et x/y de Seaborn. C’est l’une des raisons les plus courantes d’utiliser melt().

Par défaut, melt() nomme la nouvelle colonne de variable 'variable' et la colonne de valeurs 'value'. Remplacez-les toujours par des noms explicites à l’aide de var_name et value_name. Des noms de colonnes descriptifs rendent le code utilisé ensuite plus facile à lire et évitent toute confusion lorsqu’un DataFrame comporte des dizaines de colonnes.

Un cas d’utilisation classique de melt() concerne les réponses à une enquête, où chaque colonne correspond à une question et chaque ligne à une personne interrogée. La conversion transforme ce format large en format long, avec des colonnes pour l’identifiant de la personne interrogée, le nom de la question et la valeur de la réponse. Vous pouvez ensuite calculer facilement la répartition des réponses pour chaque question à l’aide de groupby().

Après la conversion, les lignes sont ordonnées selon l’ordre des colonnes d’origine (Jan, Feb, Mar pour chaque ligne). Vous souhaiterez souvent trier d’abord selon la colonne d’identification, puis selon la colonne de variable. Utilisez sort_values() sur le DataFrame obtenu pour définir l’ordre le plus pertinent pour votre analyse ou pour le traitement effectué ensuite.

Dans un pipeline de données classique, melt() intervient juste après le chargement ou le nettoyage de données au format large, avant toute étape d’analyse ou de modélisation. Placez-le tôt dans votre pipeline pour passer rapidement au format long ; toutes les opérations suivantes (groupby, Seaborn, sklearn) pourront alors travailler sur ces données propres au format long sans traitement particulier.

Dans cette leçon, vous avez appris que melt() convertit le format large en format long en transformant les colonnes en lignes ; que id_vars indique les colonnes qui restent fixes et que value_vars sélectionne les colonnes à convertir ; que var_name et value_name attribuent des noms explicites aux nouvelles colonnes ; et que le format long est privilégié pour Seaborn, groupby et les pipelines d’apprentissage automatique. Nous allons maintenant étudier stack et unstack pour remodeler des DataFrames dotés d’un MultiIndex.