apply() med GroupBy

Den inbyggda metoden agg() hanterar enkla aggregeringar som summa, medelvärde och antal – ett skalärt resultat per grupp. Vissa beräkningar på gruppnivå kräver däremot att hela gruppens del-DataFrame beaktas, inte bara en enskild kolumn. groupby().apply(func) skickar hela gruppens DataFrame till Er funktion och samlar in resultaten, vilket möjliggör komplexa sammanfattningar som agg() inte kan uttrycka.

När funktionen som skickas till groupby().apply() returnerar ett skalärt värde blir resultatet en Series indexerad efter gruppnycklarna – identiskt med det som agg() producerar. Den här formen är användbar när det skalära värdet kräver logik över flera kolumner, till exempel vid beräkning av förhållandet mellan intäkterna från topprodukten och gruppens totala intäkter, vilket inte kan uttryckas i en enda kolumnspecifikation för agg().

När funktionen returnerar en pd.Series får resultatet ett MultiIndex: den yttre nivån är gruppnyckeln och den inre nivån är Series-indexet. Detta är användbart för att beräkna flera statistiska mått per grupp i ett enda anrop till apply, vilket ger en sammanfattningstabell där varje grupp har flera rader med mått.

När funktionen returnerar en pd.DataFrame sammanfogar groupby().apply() alla del-DataFrames vertikalt. Detta är den mest kraftfulla formen: Ni kan filtrera eller omforma raderna inom varje grupp och returnera en modifierad delmängd. Ni kan till exempel behålla de två produkter som har högst intäkter inom varje region.

Ett vanligt användningsområde för groupby().apply() är att beräkna standardisering inom grupper. I stället för att normalisera intäkterna i förhållande till alla beställningar, vilket blandar regionerna, beräknar Ni intäkternas Z-poäng inom varje region. En Z-poäng på 2 i norr innebär ”2 standardavvikelser över genomsnittet i norr” – ett mer meningsfullt jämförelsevärde än 2 standardavvikelser över det globala genomsnittet.

Det winsoriserade medelvärdet begränsar extrema värden innan medelvärdet beräknas, vilket gör det mer robust än det vanliga medelvärdet för snedfördelade fördelningar. Den här anpassade aggregeringen kan inte uttryckas med standardfunktionerna i agg(), men är enkel att utföra med groupby().apply(): begränsa värdena vid den 5:e och 95:e percentilen inom varje grupp och beräkna sedan medelvärdet för de begränsade värdena.

Rullande fönster som tillämpas på hela DataFrame ignorerar gruppgränser. Om Ni beräknar ett rullande medelvärde över tre rader i en tidsserie som växlar mellan två produkter kommer fönstret felaktigt att passera produktgränserna. Tillämpa det rullande fönstret inuti en groupby().apply() för att säkerställa att varje rullande beräkning stannar inom sin grupp – till exempel ett rullande tremånadersmedelvärde för intäkter per region.

I Pandas 2.2 och senare genererar groupby().apply() en FutureWarning om groupby-nycklarna finns med i den DataFrame som funktionen tar emot. Skicka med include_groups=False för att utesluta groupby-kolumnerna från den del-DataFrame som skickas till funktionen. Då undviker Ni både varningen och oavsiktliga operationer på nyckelkolumnerna i funktionskroppen.

När groupby().apply() returnerar en DataFrame per grupp får resultatet ett MultiIndex där gruppnyckeln ingår som den yttre nivån. Använd reset_index(drop=True) för att återställa indexet till ett vanligt heltalsintervall. Alternativt kan Ni använda reset_index(level=0) för att omvandla gruppnyckeln till en kolumn så att den tydligt visas i resultatet.

groupby().apply() används för komplexa beräkningar på gruppnivå som returnerar en annan form än indata. groupby().transform() används för beräkningar som lägger till en ny kolumn som är justerad efter det ursprungliga indexet – till exempel genom att sprida gruppens medelvärde till varje rad för normalisering. Använd transform när resultatet behöver ha samma form som den ursprungliga DataFrame; använd apply när resultatets form skiljer sig.

groupby().apply() är betydligt långsammare än groupby().agg() för enkla operationer eftersom apply() skapar ett fullständigt Python-objekt för varje grupp. För summor, medelvärden och antal ska Ni alltid använda agg(). Spara apply() till fall som faktiskt kräver hela gruppens DataFrame – villkorslogik över flera kolumner, anpassade statistiska mått eller filtrering inom grupper.

I den här lektionen har Ni lärt Er: att returnera skalära värden, Series och DataFrames från groupby().apply(), att beräkna Z-poäng inom grupper och anpassad robust statistik samt att välja mellan apply(), agg() och transform() för operationer på gruppnivå. Härnäst utforskar vi map() och applymap() för elementvisa operationer på Series och DataFrames.