Rangering og percentiler i grupper

Rå værdier er ofte mindre meningsfulde end relative rangordener. En sælger med en månedlig omsætning på $50,000 er en topperformer, hvis gennemsnittet er $30,000, men en dårlig performer, hvis gennemsnittet er $80,000. Når du beregner rangordener inden for grupper (f.eks. rang inden for hver region eller rang inden for hvert kvartal), får du en normaliseret sammenligning, der tager højde for forskellige udgangsniveauer på tværs af grupper. Pandas gør det nemt at rangordne inden for grupper med groupby().rank().

Series.rank() tildeler hver værdi en rang: rang 1 er den mindste, og rang n er den største. Parameteren ascending=False vender retningen, så rang 1 er den største. Resultatet er en Series med flydende tal (ikke heltal), fordi ens værdier som standard håndteres ved at tage gennemsnittet af deres ranger. For en kolonne med 5 værdier går rangerne fra 1.0 til 5.0 — eller nogle værdier kan ved ens værdier dele en rang som 2.5.

Parameteren method styrer, hvad der sker med ens værdier. Mulighederne er: 'average' (standard — ens værdier deler gennemsnittet af deres ranger), 'min' (alle ens værdier får den laveste rang), 'max' (alle får den højeste rang), 'first' (ranger efter forekomst — ingen ens ranger) og 'dense' (ingen huller i rangerne — 1, 2, 3, 3, 4 bliver til 1, 2, 3, 3, 4 i stedet for 1, 2, 3, 3, 5). Metoden 'dense' er mest nyttig til percentillignende rangordning.

groupby('group_col')['value_col'].rank() beregner ranger uafhængigt inden for hver gruppe. Rangen nulstilles ved begyndelsen af hver gruppe — den bedste performer i East-regionen får derfor rang 1 i East, og den bedste i West-regionen får også rang 1 i West. Det er det, der gør groupby-rangordning så nyttig til fair sammenligninger på tværs af grupper.

Hvis du angiver pct=True i rank(), returneres percentilrangen: en værdi mellem 0 og 1, der angiver, hvilken andel af værdierne i gruppen der er mindre end eller lig med den aktuelle værdi. En percentilrang på 0.8 betyder, at værdien ligger i 80. percentil — højere end 80 % af alle værdier. Denne normalisering gør værdier fra grupper af forskellig størrelse direkte sammenlignelige, uden at du behøver kende de faktiske gruppestørrelser.

pd.qcut(series, q) opdeler værdier i intervaller med samme frekvens, så hvert interval indeholder omtrent det samme antal observationer. I modsætning til pd.cut, som bruger intervaller med samme bredde, tilpasser pd.qcut intervalgrænserne til dataenes fordeling. Det er perfekt til at oprette kvartiler (q=4), kvintiler (q=5) eller deciler (q=10) til præstationsniveauer.

pd.cut(series, bins=n) opretter intervaller med samme bredde (samme interval, forskelligt antal). pd.qcut(series, q=n) opretter intervaller med samme frekvens (samme antal, forskellige intervaller). For skævt fordelte data giver pd.cut næsten tomme intervaller i yderområderne, mens pd.qcut fordeler observationerne jævnt. Vælg pd.cut, når intervalgrænserne har en naturlig forretningsmæssig betydning (prisintervaller, aldersgrupper), og vælg pd.qcut til præstationsniveauer, hvor du ønsker grupper af samme størrelse.

pd.qcut(series, q=10, labels=range(1,11)) tildeler hver observation dens decil (1 til 10). Det er en standardteknik i marketinganalyse (deciler for kundeværdi), kreditvurdering (risikodeciler) og AB-test (trafikdeciler til kohorteanalyse). Parameteren labels kan være en vilkårlig liste med samme længde som q — brug strenge som ['Bottom 10%', ..., 'Top 10%'] for et mere læsevenligt output.

Kombiner groupby med pd.qcut ved hjælp af transform for at oprette percentilintervaller inden for hver gruppe. Det er nyttigt, når du vil rangordne kunder inden for hver region i stedet for globalt — en kunde i den nederste globale decil kan ligge øverst i sin regionale decil. Brug groupby('group')['value'].transform(lambda x: pd.qcut(x, q=4, labels=['Q1','Q2','Q3','Q4'])).

Et almindeligt forretningsspørgsmål er: »Hvem er de 3 bedste performere i hver region?« Brug groupby().rank(), og filtrer derefter efter rang: df[df['rank_col'] <= 3]. Det fungerer problemfrit med grupper af enhver størrelse og håndterer ens værdier på en hensigtsmæssig måde ved at beholde mere end 3 rækker, hvis der er ens ranger ved grænsen. Alternativt kan du bruge groupby().nlargest(n), som returnerer de n største værdier pr. gruppe direkte uden at tilføje en rangkolonne.

Du kan bruge groupby().rank(pct=True) sammen med transform til at føje en kolonne med percentilrang til den oprindelige DataFrame. Denne normaliserede kolonne er ofte mere nyttig som modelvariabel end den rå værdi — den er uafhængig af skala og kan sammenlignes på tværs af grupper. I maskinlæring er percentilranger et enkelt alternativ til standardisering (z-score), som er mere robust over for afvigere.

I denne lektion lærte du, at Series.rank() beregner numeriske ranger med konfigurerbar håndtering af ens værdier, at groupby().rank() nulstiller ranger inden for hver gruppe for at give en fair sammenligning på tværs af grupper, at pct=True omdanner ranger til percentiler (0 til 1), og at pd.qcut opretter intervaller med samme frekvens til tildeling af kvartil-, decil- og percentilniveauer. Næste gang undersøger vi tips til bedre ydeevne i Pandas — profilering, undgåelse af langsomme løkker og effektive datatyper.