Transformation et filtrage avec GroupBy

Après avoir maîtrisé agg(), une question vient naturellement : que faire si vous souhaitez conserver toutes les lignes d’origine tout en les enrichissant avec des statistiques au niveau des groupes ? Ou ne conserver que les groupes qui remplissent une condition ? C’est là qu’interviennent transform() et filter(). Ces deux méthodes étendent les possibilités de GroupBy au-delà de la simple synthèse, jusqu’à la création de variables et à la sélection de données.

transform() applique une fonction à chaque groupe et renvoie un résultat de la même forme que le DataFrame d’origine — une valeur par ligne d’origine. Le résultat du groupe est répercuté sur chaque ligne appartenant à ce groupe. Cette méthode est donc idéale pour ajouter des statistiques au niveau des groupes comme nouvelles colonnes sans modifier le nombre de lignes.

Parmi les applications courantes de transform() figurent l’ajout de la moyenne du groupe pour normaliser les valeurs, l’ajout de la somme du groupe pour calculer le pourcentage du total correspondant à chaque ligne et l’ajout du rang dans le groupe pour voir comment chaque élément se compare aux autres membres de son groupe. Tous ces cas préservent la forme et l’index d’origine, ce qui rend le résultat immédiatement utilisable avec les colonnes d’origine.

Tout comme agg(), transform() accepte n’importe quelle fonction appelable, en plus des noms sous forme de chaînes. La fonction reçoit une Series de valeurs correspondant à un groupe et doit renvoyer une Series de la même longueur, ou une valeur scalaire, qui est alors répercutée sur toutes les lignes. Le renvoi d’une valeur scalaire est le cas d’utilisation le plus courant ; renvoyer une Series d’une longueur différente déclenchera une erreur.

La différence essentielle est la suivante : agg() réduit le nombre de lignes, avec une ligne par groupe, tandis que transform() conserve le nombre de lignes, avec une ligne par ligne d’origine. Utilisez agg() pour créer un tableau récapitulatif. Utilisez transform() pour ajouter des informations au niveau du groupe comme nouvelle colonne de caractéristiques dans le DataFrame d’origine.

filter() conserve ou élimine des groupes entiers en fonction d’une fonction booléenne. Vous transmettez une fonction qui reçoit un sous-DataFrame correspondant à un groupe et renvoie True pour conserver le groupe ou False pour l’éliminer. Le résultat est un sous-ensemble du DataFrame d’origine contenant uniquement les lignes des groupes qui ont réussi le test.

Une utilisation très courante de filter() consiste à conserver les groupes dont la valeur agrégée atteint un seuil. Par exemple, vous pouvez ne conserver que les services dont le salaire moyen dépasse un objectif, ou uniquement les catégories de produits dont les ventes totales dépassent un minimum. Cela vous permet d’éliminer les groupes à faible volume avant de poursuivre l’analyse.

Vous pouvez appliquer transform() et filter() successivement pour enrichir vos données, puis les restreindre. Utilisez d’abord filter() pour supprimer les groupes non pertinents, puis appliquez transform() au résultat filtré afin d’ajouter des caractéristiques au niveau des groupes. Cette combinaison vous fournit un sous-ensemble propre et riche en caractéristiques, prêt pour la modélisation ou la création de rapports.

transform() est également utile avec des fonctions non numériques. Un cas courant consiste à remplir les valeurs manquantes au sein d’un groupe en utilisant la propagation vers l’avant ou la médiane du groupe, ce qui est bien plus pertinent qu’un remplissage global. Transmettez une fonction lambda qui appelle fillna() sur la Series du groupe ; le résultat possède alors le même index que le DataFrame d’origine.

Un cas d’utilisation professionnel particulièrement utile consiste à calculer la position de chaque ligne par rapport à son groupe. En combinant transform() avec des opérations arithmétiques, vous pouvez ajouter des colonnes telles que : salaire moins la moyenne du groupe (écart), salaire exprimé comme fraction du total du groupe ou indicateur booléen précisant si cet employé gagne plus que la médiane du groupe. Ces caractéristiques sont extrêmement utiles pour les tableaux de bord et les modèles d’apprentissage automatique.

transform() et filter(), lorsqu’ils utilisent des fonctions intégrées sous forme de chaînes, sont rapides, car ils empruntent des chemins d’exécution optimisés. En revanche, lorsque vous transmettez une fonction lambda ou une fonction Python personnalisée, Pandas doit appeler cette fonction une fois par groupe, ce qui peut être lent lorsque les données contiennent de nombreux groupes. Pour obtenir les meilleures performances avec de grands jeux de données, vérifiez si votre logique personnalisée peut être exprimée à l’aide d’une fonction intégrée sous forme de chaîne.

Vérifiez votre compréhension de transform() et filter() avec GroupBy dans cette leçon.

Dans cette leçon, vous avez appris que transform() renvoie des statistiques de groupe répercutées sur le nombre de lignes d’origine, ce qui en fait une méthode idéale pour ajouter des caractéristiques au niveau des groupes ; que filter() conserve ou supprime des groupes entiers en fonction d’une condition booléenne ; et que leur combinaison permet de créer des jeux de données riches et filtrés pour les analyses ultérieures. Nous allons maintenant découvrir comment combiner des DataFrames avec pd.concat.