apply() met GroupBy

De ingebouwde methode agg() verwerkt eenvoudige aggregaties zoals sum, mean en count — één scalaire uitvoer per groep. Voor sommige berekeningen op groepsniveau moet je echter naar het volledige sub-DataFrame van de groep kijken, niet alleen naar één kolom. groupby().apply(func) geeft het volledige DataFrame van de groep door aan je functie en verzamelt de resultaten, zodat je complexe samenvattingen kunt maken die je niet met agg() kunt uitdrukken.

Wanneer de functie die je aan groupby().apply() doorgeeft een scalaire waarde retourneert, is het resultaat een Series met de groepssleutels als index — identiek aan wat agg() oplevert. Deze vorm is handig wanneer de scalaire waarde logica over meerdere kolommen vereist, zoals het berekenen van de verhouding tussen de omzet van het best verkopende product en de totale groepsomzet; dat kun je niet uitdrukken in één kolomspecificatie van agg().

Wanneer de functie een pd.Series retourneert, heeft het resultaat een MultiIndex: het buitenste niveau is de groepssleutel en het binnenste niveau is de index van de Series. Dit is handig om meerdere statistieken per groep te berekenen in één aanroep van apply, waardoor een overzichtstabel ontstaat waarin elke groep meerdere rijen met meetwaarden heeft.

Wanneer de functie een pd.DataFrame retourneert, voegt groupby().apply() alle sub-DataFrames verticaal samen. Dit is de krachtigste vorm: je kunt er de rijen binnen elke groep mee filteren of transformeren en een aangepaste subset retourneren. Je kunt bijvoorbeeld alleen de twee producten met de hoogste omzet binnen elke regio behouden.

Een veelgebruikte toepassing van groupby().apply() is standaardiseren binnen groepen. Normaliseer de omzet niet ten opzichte van alle orders, want dan vermeng je regio's; bereken in plaats daarvan de Z-score van de omzet binnen elke regio. Een Z-score van 2 in het noorden betekent "2 standaardafwijkingen boven het gemiddelde van het noorden" — een betekenisvollere referentie dan 2 standaardafwijkingen boven het algemene gemiddelde.

Het Winsorised gemiddelde kapt extreme waarden af voordat het gemiddelde wordt berekend, waardoor het robuuster is dan het gewone gemiddelde bij scheve verdelingen. Deze aangepaste aggregatie kun je niet uitdrukken met standaardfuncties van agg(), maar wel eenvoudig met groupby().apply(): kap binnen elke groep af op het 5e en 95e percentiel en bereken vervolgens het gemiddelde van de afgekapt waarden.

Voortschrijdende vensters die op het volledige DataFrame worden toegepast, houden geen rekening met groepsgrenzen. Als je een voortschrijdend gemiddelde over drie rijen berekent voor een tijdreeks waarin twee producten elkaar afwisselen, overschrijdt het venster onterecht de productgrenzen. Pas het voortschrijdende venster toe binnen groupby().apply() om ervoor te zorgen dat elke berekening binnen de eigen groep blijft — bijvoorbeeld een voortschrijdend omzetgemiddelde over drie maanden per regio.

In Pandas 2.2 en hoger geeft groupby().apply() een FutureWarning als de sleutels van groupby voorkomen in het DataFrame dat de functie ontvangt. Geef include_groups=False door om de groupby-kolommen uit te sluiten van het sub-DataFrame dat aan de functie wordt doorgegeven. Zo voorkom je zowel de waarschuwing als onbedoelde bewerkingen op de sleutelkolommen binnen de functie.

Wanneer groupby().apply() per groep een DataFrame retourneert, heeft het resultaat een MultiIndex met de groepssleutel als buitenste niveau. Gebruik reset_index(drop=True) om de index terug te brengen tot een eenvoudige reeks gehele getallen. Je kunt ook reset_index(level=0) gebruiken om de groepssleutel naar een kolom te promoveren, zodat deze expliciet in de uitvoer staat.

groupby().apply() is bedoeld voor complexe berekeningen op groepsniveau die een andere vorm opleveren dan de invoer. groupby().transform() is bedoeld voor berekeningen die een nieuwe kolom toevoegen die is uitgelijnd met de oorspronkelijke index — bijvoorbeeld het groepsgemiddelde naar elke rij verspreiden voor normalisatie. Gebruik transform wanneer je het resultaat in dezelfde vorm als het oorspronkelijke DataFrame nodig hebt; gebruik apply wanneer de vorm van het resultaat verschilt.

groupby().apply() is aanzienlijk trager dan groupby().agg() voor eenvoudige bewerkingen, omdat apply() voor elke groep een volledig Python-object maakt. Gebruik voor sommen, gemiddelden en aantallen altijd agg(). Bewaar apply() voor situaties waarvoor je echt het volledige groeps-DataFrame nodig hebt — logica met voorwaarden over meerdere kolommen, aangepaste statistieken of filteren binnen groepen.

In deze les heb je geleerd: scalaire waarden, Series en DataFrames retourneren vanuit groupby().apply(), Z-scores binnen groepen en aangepaste robuuste statistieken berekenen en kiezen tussen apply(), agg() en transform() voor bewerkingen op groepsniveau. Hierna bekijken we map() en applymap() voor elementgewijze bewerkingen op Series en DataFrames.