Rangs et percentiles au sein des groupes

Les valeurs brutes sont souvent moins parlantes que les classements relatifs. Un commercial qui génère 50 000 $ de chiffre d’affaires mensuel est très performant si la moyenne est de 30 000 $, mais peu performant si la moyenne est de 80 000 $. En calculant les rangs au sein des groupes (par exemple, le rang dans chaque région ou dans chaque trimestre), vous obtenez une comparaison normalisée qui tient compte des niveaux de référence différents entre les groupes. Pandas facilite le classement au sein des groupes avec groupby().rank().

Series.rank() attribue un rang à chaque valeur : le rang 1 correspond à la plus petite valeur et le rang n à la plus grande. Le paramètre ascending=False inverse la direction : le rang 1 correspond alors à la plus grande valeur. Le résultat est une Series flottante, et non entière, car les égalités sont par défaut résolues en faisant la moyenne des rangs concernés. Pour une colonne contenant 5 valeurs, les rangs vont de 1.0 à 5.0 ; en cas d’égalité, certaines valeurs peuvent partager un rang comme 2.5.

Le paramètre method contrôle le traitement des valeurs égales. Options : 'average' (par défaut — les valeurs égales partagent la moyenne de leurs rangs), 'min' (toutes les valeurs égales reçoivent le rang le plus bas), 'max' (elles reçoivent toutes le rang le plus élevé), 'first' (les rangs suivent l’ordre d’apparition — aucune égalité), et 'dense' (les rangs ne comportent aucun saut — 1, 2, 3, 3, 4 devient 1, 2, 3, 3, 4 au lieu de 1, 2, 3, 3, 5). La méthode 'dense' est particulièrement utile pour les classements de type percentile.

groupby('group_col')['value_col'].rank() calcule les rangs indépendamment au sein de chaque groupe. Le classement recommence au début de chaque groupe : le meilleur élément de la région Est reçoit donc le rang 1 dans l’Est, et le meilleur élément de la région Ouest reçoit également le rang 1 dans l’Ouest. C’est ce qui rend le classement avec groupby si utile pour comparer équitablement plusieurs groupes.

Définir pct=True dans rank() renvoie le rang en percentile : une valeur comprise entre 0 et 1 qui représente la fraction des valeurs du groupe inférieures ou égales à la valeur actuelle. Un rang en percentile de 0.8 signifie que la valeur se situe au 80e percentile, c’est-à-dire qu’elle est supérieure à 80 % de toutes les valeurs. Cette normalisation permet de comparer directement des valeurs provenant de groupes de tailles différentes, sans connaître la taille réelle des groupes.

pd.qcut(series, q) répartit les valeurs dans q intervalles contenant chacun approximativement le même nombre d’observations. Contrairement à pd.cut, qui utilise des intervalles de même largeur, pd.qcut adapte les limites des intervalles à la distribution des données. C’est idéal pour créer des quartiles (q=4), des quintiles (q=5) ou des déciles (q=10) afin de définir des niveaux de performance.

pd.cut(series, bins=n) crée des intervalles de même largeur (même étendue, effectifs différents). pd.qcut(series, q=n) crée des intervalles de même fréquence (même effectif, étendues différentes). Pour des données asymétriques, pd.cut produit des intervalles presque vides aux extrémités, tandis que pd.qcut répartit les observations uniformément. Choisissez pd.cut lorsque les limites des intervalles ont une signification naturelle pour l’activité (tranches de prix, groupes d’âge), et pd.qcut pour les niveaux de performance lorsque vous souhaitez des groupes de même taille.

pd.qcut(series, q=10, labels=range(1,11)) affecte chaque observation à son décile (de 1 à 10). Il s’agit d’une technique courante en analyse marketing (déciles de valeur client), en évaluation du risque de crédit (déciles de risque) et dans les tests AB (déciles de trafic pour l’analyse de cohortes). Le paramètre labels peut être une liste quelconque de longueur égale à celle de q ; utilisez des chaînes comme ['Bottom 10%', ..., 'Top 10%'] pour obtenir un résultat plus lisible.

Combinez groupby et pd.qcut avec transform pour créer des intervalles de percentile au sein de chaque groupe. Cette méthode est utile lorsque vous souhaitez classer les clients dans chaque région plutôt qu’à l’échelle globale : un client situé dans le décile global inférieur peut se trouver dans le décile régional supérieur. Utilisez groupby('group')['value'].transform(lambda x: pd.qcut(x, q=4, labels=['Q1','Q2','Q3','Q4'])).

Une question courante dans le monde professionnel est : « qui sont les 3 meilleurs éléments de chaque région ? » Utilisez groupby().rank(), puis filtrez selon le rang : df[df['rank_col'] <= 3]. Cette méthode fonctionne quelle que soit la taille du groupe et traite correctement les égalités en conservant plus de 3 lignes si plusieurs rangs sont égaux à la limite. Vous pouvez également utiliser groupby().nlargest(n), qui renvoie directement les n plus grandes valeurs de chaque groupe sans ajouter de colonne de rang.

Vous pouvez utiliser groupby().rank(pct=True) avec transform pour ajouter une colonne de rang en percentile au DataFrame d’origine. Cette colonne normalisée est souvent plus utile comme caractéristique d’un modèle que la valeur brute : elle est indépendante de l’échelle et comparable entre les groupes. En apprentissage automatique, les rangs en percentile constituent une solution simple de remplacement de la standardisation (score z), plus robuste aux valeurs aberrantes.

Vérifiez votre compréhension des opérations de classement et de percentile présentées dans cette leçon.

Dans cette leçon, vous avez appris que Series.rank() calcule des rangs numériques avec une résolution configurable des égalités, que groupby().rank() recommence le classement dans chaque groupe pour permettre une comparaison équitable entre les groupes, que pct=True convertit les rangs en percentiles (de 0 à 1), et que pd.qcut crée des intervalles de fréquence égale pour attribuer des niveaux de quartile, de décile et de percentile. Nous allons maintenant étudier les conseils d’optimisation des performances de Pandas : profilage, évitement des boucles lentes et utilisation de types de données efficaces.