apply() mit GroupBy

Die integrierte Methode agg() verarbeitet einfache Aggregationen wie Summe, Mittelwert und Anzahl — eine skalare Ausgabe pro Gruppe. Für manche Berechnungen auf Gruppenebene muss jedoch der gesamte Teil-DataFrame der Gruppe betrachtet werden, nicht nur eine einzelne Spalte. groupby().apply(func) übergibt Ihrer Funktion den vollständigen DataFrame der Gruppe und sammelt die Ergebnisse. Dadurch werden komplexe Zusammenfassungen möglich, die sich mit agg() nicht ausdrücken lassen.

Wenn die an groupby().apply() übergebene Funktion einen Skalar zurückgibt, ist das Ergebnis eine Series, die nach den Gruppenschlüsseln indiziert ist — genau wie bei agg(). Diese Form ist nützlich, wenn der Skalar eine Logik über mehrere Spalten erfordert, beispielsweise das Verhältnis des Umsatzes des umsatzstärksten Produkts zum Gesamtumsatz der Gruppe. Dies lässt sich nicht in einer einzelnen agg()-Spaltenspezifikation ausdrücken.

Wenn die Funktion eine pd.Series zurückgibt, besitzt das Ergebnis einen MultiIndex: Die äußere Ebene ist der Gruppenschlüssel, die innere Ebene der Index der Series. Dies ist nützlich, um mit einem einzigen apply-Aufruf mehrere Statistiken pro Gruppe zu berechnen und eine Übersichtstabelle zu erzeugen, in der jede Gruppe mehrere Zeilen mit Kennzahlen besitzt.

Wenn die Funktion einen pd.DataFrame zurückgibt, fügt groupby().apply() alle Teil-DataFrames vertikal zusammen. Dies ist die leistungsfähigste Form: Sie können die Zeilen innerhalb jeder Gruppe filtern oder transformieren und eine veränderte Teilmenge zurückgeben. Beispielsweise können Sie nur die zwei umsatzstärksten Produkte jeder Region behalten.

Eine häufige Anwendung von groupby().apply() ist die Standardisierung innerhalb von Gruppen. Anstatt den Umsatz relativ zu allen Bestellungen zu normalisieren, wodurch Regionen miteinander vermischt werden, berechnen Sie den Z-Score des Umsatzes innerhalb jeder Region. Ein Z-Score von 2 im Norden bedeutet „2 Standardabweichungen über dem Durchschnitt des Nordens“ — ein aussagekräftigerer Vergleichswert als 2 Standardabweichungen über dem globalen Durchschnitt.

Der winsorisierte Mittelwert begrenzt extreme Werte vor der Mittelwertbildung und ist dadurch bei schiefen Verteilungen robuster als der einfache Mittelwert. Diese benutzerdefinierte Aggregation lässt sich mit den Standardfunktionen von agg() nicht ausdrücken, ist mit groupby().apply() jedoch einfach umzusetzen: Begrenzen Sie die Werte innerhalb jeder Gruppe auf das 5. und 95. Perzentil und berechnen Sie anschließend den Mittelwert der begrenzten Werte.

Auf den gesamten DataFrame angewendete gleitende Fenster ignorieren Gruppengrenzen. Wenn Sie für eine Zeitreihe, in der zwei Produkte abwechselnd vorkommen, einen gleitenden Mittelwert über drei Zeilen berechnen, überschreitet das Fenster fälschlicherweise die Produktgrenzen. Wenden Sie das gleitende Fenster innerhalb von groupby().apply() an, damit jede Berechnung innerhalb ihrer Gruppe bleibt — beispielsweise für den gleitenden Umsatzmittelwert über drei Monate pro Region.

In Pandas 2.2 und höher gibt groupby().apply() eine FutureWarning aus, wenn die GroupBy-Schlüssel im DataFrame enthalten sind, den die Funktion erhält. Übergeben Sie include_groups=False, um die GroupBy-Spalten aus dem an die Funktion übergebenen Teil-DataFrame auszuschließen. Dadurch vermeiden Sie sowohl die Warnung als auch unbeabsichtigte Operationen an den Schlüsselspalten innerhalb des Funktionskörpers.

Wenn groupby().apply() pro Gruppe einen DataFrame zurückgibt, besitzt das Ergebnis einen MultiIndex, der den Gruppenschlüssel als äußere Ebene enthält. Verwenden Sie reset_index(drop=True), um den Index wieder in einen einfachen ganzzahligen Bereich umzuwandeln. Alternativ können Sie reset_index(level=0) verwenden, um den Gruppenschlüssel in eine Spalte zu übernehmen und ihn in der Ausgabe explizit sichtbar zu machen.

groupby().apply() ist für komplexe Berechnungen auf Gruppenebene gedacht, deren Ergebnis eine andere Form als die Eingabe besitzt. groupby().transform() dient Berechnungen, die eine neue, am ursprünglichen Index ausgerichtete Spalte hinzufügen — beispielsweise dem Zurückschreiben des Gruppenmittelwerts in jede Zeile zur Normalisierung. Verwenden Sie transform, wenn das Ergebnis dieselbe Form wie der ursprüngliche DataFrame haben soll, und apply, wenn sich die Form des Ergebnisses unterscheidet.

groupby().apply() ist bei einfachen Operationen deutlich langsamer als groupby().agg(), da apply() für jede Gruppe ein vollständiges Python-Objekt erstellt. Verwenden Sie für Summen, Mittelwerte und Anzahlen immer agg(). Setzen Sie apply() nur dort ein, wo der vollständige Gruppen-DataFrame tatsächlich benötigt wird — etwa bei bedingter Logik über mehrere Spalten, benutzerdefinierten Statistiken oder beim Filtern innerhalb von Gruppen.

Testen Sie Ihr Verständnis der Konzepte zur Datenanalyse aus dieser Lektion.

In dieser Lektion haben Sie Folgendes gelernt: Skalare, Series und DataFrames mit groupby().apply() zurückzugeben, Z-Scores innerhalb von Gruppen und benutzerdefinierte robuste Statistiken zu berechnen und zwischen apply(), agg() und transform() für Operationen auf Gruppenebene zu wählen. Als Nächstes sehen wir uns map() und applymap() für elementweise Operationen auf Series und DataFrames an.