Rang och percentil inom grupper

Råvärden är ofta mindre meningsfulla än relativa rangordningar. En säljare med 50 000 dollar i månadsintäkter presterar mycket bra om genomsnittet är 30 000 dollar, men dåligt om genomsnittet är 80 000 dollar. Genom att beräkna rangordningar inom grupper (till exempel inom varje region eller kvartal) får ni en normaliserad jämförelse som tar hänsyn till olika utgångsnivåer mellan grupper. Pandas gör det enkelt att rangordna inom grupper med groupby().rank().

Series.rank() tilldelar varje värde en rang: rang 1 är det minsta värdet och rang n det största. Parametern ascending=False vänder på riktningen så att rang 1 är det största värdet. Resultatet är en float-Series, inte en heltals-Series, eftersom lika värden som standard hanteras genom att deras rangvärden beräknas som ett medelvärde. För en kolumn med 5 värden sträcker sig rangvärdena från 1.0 till 5.0 – eller, vid lika värden, kan vissa värden dela på en rang som 2.5.

Parametern method styr vad som händer med lika värden. Alternativen är: 'average' (standard – lika värden delar på medelvärdet av deras rangvärden), 'min' (alla lika värden får den lägsta rangen), 'max' (alla får den högsta rangen), 'first' (rangordnas efter förekomstordning – inga lika rangvärden) och 'dense' (inga luckor i rangordningen – 1, 2, 3, 3, 4 blir 1, 2, 3, 3, 4 i stället för 1, 2, 3, 3, 5). Metoden 'dense' är mest användbar för percentilliknande rangordningar.

groupby('group_col')['value_col'].rank() beräknar rangordningar oberoende inom varje grupp. Rangordningen börjar om i varje grupp – den bästa medarbetaren i region Öst får alltså rang 1 i Öst, och den bästa i region Väst får också rang 1 i Väst. Det är detta som gör groupby-rangordning så användbar för rättvisa jämförelser mellan grupper.

Om ni anger pct=True i rank() returneras percentilrangen: ett värde mellan 0 och 1 som anger hur stor andel av värdena i gruppen som är mindre än eller lika med det aktuella värdet. En percentilrang på 0.8 betyder att värdet ligger i den 80:e percentilen – det är högre än 80 % av alla värden. Denna normalisering gör värden från grupper av olika storlek direkt jämförbara utan att ni behöver känna till gruppernas faktiska storlek.

pd.qcut(series, q) delar in värden i q frekvensmässigt lika intervall, så att varje intervall innehåller ungefär lika många observationer. Till skillnad från pd.cut, som använder intervall med samma bredd, anpassar pd.qcut intervallgränserna efter datans fördelning. Det passar utmärkt för att skapa kvartiler (q=4), kvintiler (q=5) eller deciler (q=10) för prestationsnivåer.

pd.cut(series, bins=n) skapar intervall med samma bredd (samma intervallbredd, olika antal värden). pd.qcut(series, q=n) skapar intervall med samma frekvens (samma antal värden, olika intervallbredder). För snedfördelade data blir intervallen i ytterkanterna vid användning av pd.cut nästan tomma, medan pd.qcut fördelar observationerna jämnt. Välj pd.cut när intervallgränserna har en naturlig affärsmässig betydelse (prisintervall, åldersgrupper), och pd.qcut för prestationsnivåer där ni vill ha grupper av samma storlek.

pd.qcut(series, q=10, labels=range(1,11)) tilldelar varje observation en decil (1 till 10). Detta är en standardmetod inom marknadsanalys (decilindelning efter kundvärde), kreditbedömning (riskdeciler) och A/B-testning (trafikdeciler för kohortanalys). Parametern labels kan vara vilken lista som helst med samma längd som q – använd strängar som ['Bottom 10%', ..., 'Top 10%'] för ett mer lättläst resultat.

Kombinera groupby med pd.qcut genom att använda transform för att skapa percentilintervall inom varje grupp. Det är användbart när ni vill rangordna kunder inom varje region i stället för globalt – en kund i den nedersta globala decilen kan ligga högst i sin regionala decil. Använd groupby('group')['value'].transform(lambda x: pd.qcut(x, q=4, labels=['Q1','Q2','Q3','Q4'])).

En vanlig affärsfråga är ”vilka är de tre bästa medarbetarna i varje region?” Använd groupby().rank() och filtrera sedan efter rang: df[df['rank_col'] <= 3]. Detta fungerar smidigt oavsett gruppstorlek och hanterar lika rangvärden på ett bra sätt genom att behålla fler än tre rader om flera värden delar på rangen vid gränsen. Alternativt kan ni använda groupby().nlargest(n), som direkt returnerar de n största värdena per grupp utan att lägga till en rangkolumn.

Ni kan använda groupby().rank(pct=True) tillsammans med transform för att lägga till en kolumn med percentilrang i den ursprungliga DataFrame-strukturen. Denna normaliserade kolumn är ofta mer användbar som modellvariabel än råvärdet – den är skaloberoende och jämförbar mellan grupper. Inom maskininlärning är percentilranger ett enkelt alternativ till standardisering (z-värden) som är mer robust mot extremvärden.

I den här lektionen har ni lärt er att Series.rank() beräknar numeriska rangvärden med konfigurerbar hantering av lika värden, att groupby().rank() börjar om rangordningen inom varje grupp för rättvisa jämförelser mellan grupper, att pct=True omvandlar rangvärden till percentiler (0 till 1) och att pd.qcut skapar frekvensmässigt lika intervall för tilldelning av kvartil-, decil- och percentilnivåer. Nästa steg är att utforska prestandatips för Pandas – profilering, att undvika långsamma loopar och effektiva datatyper.