Шаблон «разделить — применить — объединить»

Операция GroupBy — один из самых мощных шаблонов анализа данных. Она позволяет разделить DataFrame на группы, применить функцию к каждой группе независимо, а затем объединить результаты в новую структуру. Этот рабочий процесс известен как шаблон разделить–применить–объединить; этот термин ввёл статистик Хэдли Викхэм.

На шаге разделения Pandas делит DataFrame на подчинённые DataFrames на основе уникальных значений одного или нескольких столбцов. Например, если в данных есть столбец region со значениями 'North', 'South' и 'West', на шаге разделения создаются три отдельные группы. Данные пока не перемещаются и не копируются — Pandas лишь фиксирует, какие строки относятся к каждой группе.

На шаге применения функция применяется к каждой группе независимо. Это может быть встроенная агрегирующая функция, например sum() или mean(), либо пользовательская функция, которую Вы определили. Строки каждой группы передаются функции, и она возвращает скаляр, Series или DataFrame.

На шаге объединения Pandas автоматически собирает результаты для отдельных групп обратно в один объект — обычно Series или DataFrame. Ключи групп становятся индексом результата. Этот шаг выполняется незаметно при вызове метода агрегации для объекта GroupBy, в результате чего получается удобная сводная таблица с одной строкой на группу.

Объект GroupBy создаётся вызовом df.groupby(column). На этом этапе вычисления не выполняются — это отложенный объект. Вы можете перебрать его, чтобы просмотреть группы, или добавить цепочку с методом агрегации, чтобы запустить вычисления. Передача as_index=False сохраняет столбец группировки как обычный столбец, а не как индекс результата.

Объект GroupBy можно перебрать, чтобы изучить каждую группу отдельно. На каждой итерации возвращается кортеж (group_key, sub_dataframe). Это полезно для отладки или обработки каждой группы произвольным кодом Python. Однако в рабочем коде для повышения производительности предпочтительнее векторизованные методы агрегации, а не явный перебор.

GroupBy в Pandas поддерживает множество встроенных функций агрегации: sum(), mean(), count(), min(), max(), std(), median() и другие. Они тщательно оптимизированы и обрабатывают все группы за один проход. Всегда отдавайте им предпочтение перед написанием пользовательской функции Python, если нужная встроенная функция уже существует.

Вы можете применять агрегирование сразу к нескольким столбцам: выберите их перед вызовом метода агрегирования или не выбирайте столбцы, чтобы агрегировать все числовые столбцы. Результатом будет DataFrame, а не Series, с одним столбцом для каждой агрегированной переменной.

Представьте GroupBy как предложение GROUP BY в SQL. Код Pandas df.groupby('region')['sales'].sum() эквивалентен запросу SELECT region, SUM(sales) FROM df GROUP BY region в SQL. Понимание этой аналогии помогает переходить от одного инструмента к другому и выбирать подходящую абстракцию для вашего конвейера.

Возможно, Вы задаётесь вопросом, почему бы просто не пройти циклом по уникальным значениям и не вычислить статистики вручную. Ответ — производительность и читаемость. Цикл Python по группам работает гораздо медленнее одного векторизованного вызова groupby, особенно на больших наборах данных. Операции GroupBy внутри выполняются в скомпилированном коде C, поэтому они в 10–100 раз быстрее эквивалентных циклов Python.

Если Вам нужна более высокая детализация, сгруппируйте данные по нескольким столбцам, передав список в groupby(). Результатом будет MultiIndex, где каждый уровень соответствует одному столбцу группировки. Например, группировка одновременно по 'region' и 'quarter' даёт итоги для каждой комбинации региона и квартала.

Проверьте, насколько хорошо Вы поняли рассмотренный на этом уроке шаблон разделения, применения и объединения.

На этом уроке Вы узнали о шаблоне разделения, применения и объединения, лежащем в основе всех операций GroupBy; о том, как создавать объект GroupBy с помощью df.groupby(); и о том, как применять встроенные агрегирования, такие как sum() и mean(), чтобы получать один результат для каждой группы. Далее мы рассмотрим группировку по одному и нескольким ключам с использованием других методов агрегирования.