Rang en percentiel binnen groepen

Ruwe waarden zijn vaak minder betekenisvol dan relatieve rangschikkingen. Een verkoper met een maandelijkse omzet van $50,000 is een toppresteerder als het gemiddelde $30,000 is, maar een zwakke presteerder als het gemiddelde $80,000 is. Door rangen binnen groepen te berekenen (bijvoorbeeld binnen elke regio of elk kwartaal), krijg je een genormaliseerde vergelijking die rekening houdt met verschillende uitgangsniveaus tussen groepen. Met Pandas is rangschikken binnen groepen eenvoudig met groupby().rank().

Series.rank() wijst aan elke waarde een rang toe: rang 1 is de kleinste waarde en rang n de grootste. De parameter ascending=False keert de richting om, zodat rang 1 de grootste waarde is. Het resultaat is een float Series (geen integer), omdat gelijke waarden standaard worden opgelost door het gemiddelde van hun rangen te nemen. Voor een kolom met 5 waarden lopen de rangen van 1.0 tot 5.0 — bij gelijke waarden kunnen sommige waarden bijvoorbeeld dezelfde rang 2.5 krijgen.

De parameter method bepaalt wat er met gelijke waarden gebeurt. Opties zijn: 'average' (standaard — gelijke waarden delen het gemiddelde van hun rangen), 'min' (alle gelijke waarden krijgen de laagste rang), 'max' (alle krijgen de hoogste rang), 'first' (rangen in volgorde van voorkomen — geen gelijke rangen) en 'dense' (geen gaten in de rangen — 1, 2, 3, 3, 4 wordt 1, 2, 3, 3, 4 in plaats van 1, 2, 3, 3, 5). De methode 'dense' is het handigst voor rangschikkingen in percentielstijl.

groupby('group_col')['value_col'].rank() berekent rangen onafhankelijk binnen elke groep. De rang begint bij elke groep opnieuw — de beste presteerder in de regio East krijgt dus rang 1 in East, en de beste in de regio West krijgt ook rang 1 in West. Daardoor is rangschikken met groupby zo nuttig voor eerlijke vergelijkingen tussen groepen.

Als je pct=True instelt in rank(), geeft dit de percentielrang terug: een waarde tussen 0 en 1 die aangeeft welk deel van de waarden in de groep gelijk is aan of lager is dan de huidige waarde. Een percentielrang van 0.8 betekent dat de waarde op het 80e percentiel ligt — hoger dan 80% van alle waarden. Door deze normalisatie kun je waarden uit groepen van verschillende grootte rechtstreeks vergelijken zonder de werkelijke groepsgrootte te kennen.

pd.qcut(series, q) verdeelt waarden over q intervallen met gelijke frequentie, zodat elk interval ongeveer evenveel waarnemingen bevat. In tegenstelling tot pd.cut, dat intervallen met gelijke breedte gebruikt, past pd.qcut de grenzen van de intervallen aan de verdeling van de gegevens aan. Dit is ideaal voor het maken van kwartielen (q=4), kwintielen (q=5) of decielen (q=10) voor prestatieniveaus.

pd.cut(series, bins=n) maakt intervallen met gelijke breedte (hetzelfde bereik, verschillende aantallen). pd.qcut(series, q=n) maakt intervallen met gelijke frequentie (hetzelfde aantal, verschillende bereiken). Bij scheef verdeelde gegevens ontstaan met pd.cut vrijwel lege intervallen aan de uiteinden, terwijl pd.qcut de waarnemingen gelijkmatig verdeelt. Kies pd.cut wanneer de grenzen van de intervallen een natuurlijke betekenis hebben voor de bedrijfsvoering (prijsklassen, leeftijdsgroepen); kies pd.qcut voor prestatieniveaus waarbij je groepen van gelijke grootte wilt.

pd.qcut(series, q=10, labels=range(1,11)) wijst elke waarneming toe aan het bijbehorende deciel (1 tot en met 10). Dit is een standaardtechniek in marketinganalyse (decielen van klantwaarde), kredietbeoordeling (risicodecielen) en A/B-testen (verkeersdecielen voor cohortanalyse). De parameter labels kan elke lijst zijn met dezelfde lengte als q — gebruik voor beter leesbare uitvoer tekenreeksen zoals ['Bottom 10%', ..., 'Top 10%'].

Combineer groupby met pd.qcut en gebruik transform om percentielintervallen binnen elke groep te maken. Dit is nuttig wanneer je klanten binnen elke regio wilt rangschikken in plaats van wereldwijd — een klant in het onderste wereldwijde deciel kan bovenaan het deciel van zijn of haar regio staan. Gebruik groupby('group')['value'].transform(lambda x: pd.qcut(x, q=4, labels=['Q1','Q2','Q3','Q4'])).

Een veelvoorkomende bedrijfsvraag is: 'wie zijn de 3 beste presteerders in elke regio?' Gebruik groupby().rank() en filter vervolgens op rang: df[df['rank_col'] <= 3]. Dit werkt netjes voor groepen van elke grootte en gaat goed om met gelijke waarden door meer dan 3 rijen te behouden als er gelijke rangen op de grens staan. Je kunt ook groupby().nlargest(n) gebruiken. Dit geeft rechtstreeks de n grootste waarden per groep terug zonder een rangkolom toe te voegen.

Je kunt groupby().rank(pct=True) combineren met transform om een kolom met percentielrangen aan het oorspronkelijke DataFrame toe te voegen. Deze genormaliseerde kolom is vaak bruikbaarder als modelkenmerk dan de ruwe waarde — de kolom is schaalvrij en vergelijkbaar tussen groepen. Voor machinaal leren zijn percentielrangen een eenvoudig alternatief voor standaardisatie (z-scores) dat robuuster is voor uitschieters.

In deze les heb je geleerd dat Series.rank() numerieke rangen berekent met instelbare methoden voor gelijke waarden, dat groupby().rank() de rangen binnen elke groep opnieuw laat beginnen voor een eerlijke vergelijking tussen groepen, dat pct=True rangen omzet in percentielen (0 tot 1) en dat pd.qcut intervallen met gelijke frequentie maakt voor het toewijzen van kwartiel-, deciel- en percentielniveaus. Hierna bekijken we tips voor betere prestaties in Pandas — profileren, trage lussen vermijden en efficiënte gegevenstypen gebruiken.