Das Split-Apply-Combine-Muster

Die GroupBy-Operation gehört zu den leistungsfähigsten Mustern in der Datenanalyse. Sie ermöglicht es Ihnen, einen DataFrame in Gruppen aufzuteilen, auf jede Gruppe unabhängig eine Funktion anzuwenden und die Ergebnisse anschließend zu einer neuen Struktur zusammenzuführen. Dieser Ablauf wird als split-apply-combine-Muster bezeichnet – ein Begriff, den der Statistiker Hadley Wickham geprägt hat.

Im split-Schritt teilt Pandas den DataFrame anhand der eindeutigen Werte in einer oder mehreren Spalten in Teil-DataFrames auf. Enthält Ihre Daten beispielsweise eine Spalte region mit Werten wie 'North', 'South' und 'West', erstellt der Split-Schritt drei separate Gruppen. Dabei werden noch keine Daten verschoben oder kopiert – Pandas merkt sich lediglich, welche Zeilen zu welcher Gruppe gehören.

Im apply-Schritt wird auf jede Gruppe unabhängig eine Funktion angewendet. Dabei kann es sich um eine integrierte Aggregation wie sum() oder mean() oder um eine von Ihnen definierte benutzerdefinierte Funktion handeln. Die Zeilen jeder Gruppe werden an die Funktion übergeben, die als Ergebnis einen Skalar, eine Series oder einen DataFrame zurückgibt.

Im combine-Schritt fügt Pandas die Ergebnisse der einzelnen Gruppen automatisch wieder zu einem einzigen Objekt zusammen – normalerweise zu einer Series oder einem DataFrame. Die Gruppenschlüssel werden zum Index des Ergebnisses. Dieser Schritt erfolgt automatisch, wenn Sie eine Aggregationsmethode auf einem GroupBy-Objekt aufrufen, und liefert eine übersichtliche Zusammenfassung mit einer Zeile pro Gruppe.

Sie erstellen ein GroupBy-Objekt, indem Sie df.groupby(column) aufrufen. Zu diesem Zeitpunkt wird noch nichts berechnet – es handelt sich um ein verzögert ausgewertetes Objekt. Sie können darüber iterieren, um die Gruppen anzuzeigen, oder eine Aggregationsmethode verketten, um die Berechnung auszulösen. Mit as_index=False bleibt die Gruppierungsspalte im Ergebnis eine normale Spalte und wird nicht zum Index.

Sie können über ein GroupBy-Objekt iterieren, um jede Gruppe einzeln zu untersuchen. Jede Iteration liefert ein Tupel aus (group_key, sub_dataframe). Das ist beim Debugging nützlich oder wenn Sie jede Gruppe mit beliebigem Python-Code verarbeiten möchten. Für die Performance in Produktionsumgebungen sollten Sie jedoch vektorisierte Aggregationsmethoden einer expliziten Iteration vorziehen.

Pandas GroupBy unterstützt viele integrierte Aggregationsfunktionen: sum(), mean(), count(), min(), max(), std(), median() und weitere. Diese Funktionen sind stark optimiert und werden in einem einzigen Durchlauf auf alle Gruppen angewendet. Verwenden Sie sie immer bevorzugt gegenüber einer eigenen Python-Funktion, sofern eine integrierte Funktion vorhanden ist.

Sie können Aggregationen gleichzeitig auf mehrere Spalten anwenden, indem Sie diese vor dem Aufruf der Aggregationsmethode auswählen, oder die Spaltenauswahl weglassen, um alle numerischen Spalten zu aggregieren. Das Ergebnis ist ein DataFrame statt einer Series mit einer Spalte pro aggregierter Variable.

Stellen Sie sich GroupBy wie die SQL-Klausel GROUP BY vor. Der Pandas-Code df.groupby('region')['sales'].sum() entspricht in SQL SELECT region, SUM(sales) FROM df GROUP BY region. Wenn Sie diese Parallele verstehen, können Sie leichter zwischen den beiden Werkzeugen wechseln und die passende Abstraktion für Ihre Pipeline auswählen.

Sie fragen sich vielleicht, warum Sie nicht einfach über eindeutige Werte iterieren und die Statistiken manuell berechnen sollten. Die Antwort lautet: Performance und Lesbarkeit. Eine Python-Schleife über Gruppen ist deutlich langsamer als ein einziger vektorisierter GroupBy-Aufruf, insbesondere bei großen Datensätzen. GroupBy-Operationen werden intern in kompiliertem C-Code ausgeführt und sind dadurch 10- bis 100-mal schneller als entsprechende Python-Schleifen.

Wenn Sie eine feinere Aufteilung benötigen, gruppieren Sie nach mehreren Spalten, indem Sie eine Liste an groupby() übergeben. Das Ergebnis besitzt einen MultiIndex, dessen Ebenen jeweils einer Gruppierungsspalte entsprechen. Gruppieren Sie beispielsweise nach 'region' und 'quarter', erhalten Sie Summen für jede Kombination aus Region und Quartal.

Testen Sie Ihr Verständnis des in dieser Lektion behandelten split-apply-combine-Musters.

In dieser Lektion haben Sie gelernt: das split-apply-combine-Muster, auf dem alle GroupBy-Operationen beruhen, wie Sie mit df.groupby() ein GroupBy-Objekt erstellen und wie Sie integrierte Aggregationen wie sum() und mean() anwenden, um ein Ergebnis pro Gruppe zu erhalten. Als Nächstes sehen Sie sich das Gruppieren nach einzelnen und mehreren Schlüsseln mit weiteren Aggregationsmethoden an.