O padrão Dividir-Aplicar-Combinar

A operação GroupBy é um dos padrões mais poderosos da análise de dados. Ela permite dividir um DataFrame em grupos, aplicar uma função a cada grupo de forma independente e, em seguida, combinar os resultados em uma nova estrutura. Esse fluxo de trabalho é conhecido como padrão dividir-aplicar-combinar, termo criado pelo estatístico Hadley Wickham.

Na etapa de divisão, o Pandas divide o DataFrame em sub-DataFrames com base nos valores exclusivos de uma ou mais colunas. Por exemplo, se seus dados tiverem uma coluna region com valores como 'North', 'South' e 'West', essa etapa criará três grupos separados. Nenhum dado é movido ou copiado ainda — o Pandas apenas registra quais linhas pertencem a cada grupo.

Na etapa de aplicação, uma função é aplicada a cada grupo de forma independente. A função pode ser uma agregação integrada, como sum() ou mean(), ou uma função personalizada definida por você. As linhas de cada grupo são passadas para a função, que retorna um escalar, uma Series ou um DataFrame como resultado.

Na etapa de combinação, o Pandas reúne automaticamente os resultados de cada grupo em um único objeto — normalmente uma Series ou um DataFrame. As chaves dos grupos tornam-se o índice do resultado. Essa etapa ocorre de forma invisível quando você chama um método de agregação em um objeto GroupBy, fornecendo uma tabela de resumo organizada com uma linha por grupo.

Você cria um objeto GroupBy chamando df.groupby(column). Nada é calculado nessa etapa — trata-se de um objeto avaliado sob demanda. Você pode iterar sobre ele para ver os grupos ou encadear um método de agregação para iniciar o cálculo. Passar as_index=False mantém a coluna de agrupamento como uma coluna comum, em vez de transformá-la no índice do resultado.

Você pode iterar sobre um objeto GroupBy para inspecionar cada grupo individualmente. Cada iteração produz uma tupla de (group_key, sub_dataframe). Isso é útil para depuração ou quando você quer processar cada grupo com código Python arbitrário. No entanto, para obter melhor desempenho em produção, prefira métodos de agregação vetorizados à iteração explícita.

O Pandas GroupBy oferece várias funções de agregação integradas: sum(), mean(), count(), min(), max(), std(), median() e outras. Elas são altamente otimizadas e executadas em todos os grupos em uma única passagem. Sempre prefira essas funções a escrever uma função Python personalizada quando houver uma opção integrada.

Você pode aplicar agregações a várias colunas simultaneamente selecionando-as antes de chamar o método de agregação ou omitindo a seleção de colunas para agregar todas as colunas numéricas. O resultado é um DataFrame, em vez de uma Series, com uma coluna para cada variável agregada.

Considere o GroupBy como a cláusula GROUP BY do SQL. O código do Pandas df.groupby('region')['sales'].sum() equivale a SELECT region, SUM(sales) FROM df GROUP BY region em SQL. Entender essa correspondência ajuda você a alternar entre as duas ferramentas e escolher a abstração adequada para seu fluxo de processamento.

Você pode se perguntar por que não percorrer simplesmente os valores exclusivos e calcular as estatísticas manualmente. A resposta é desempenho e legibilidade. Um laço Python sobre grupos é muito mais lento do que uma única chamada vetorizada de groupby, especialmente com grandes conjuntos de dados. As operações GroupBy são executadas internamente em código C compilado, o que as torna de 10 a 100 vezes mais rápidas do que laços Python equivalentes.

Quando você precisa de uma granularidade maior, agrupe por várias colunas passando uma lista para groupby(). O resultado tem um MultiIndex em que cada nível corresponde a uma coluna de agrupamento. Por exemplo, agrupar por 'region' e 'quarter' fornece os totais para cada combinação de região e trimestre.

Nesta lição, você aprendeu: o padrão dividir-aplicar-combinar, que fundamenta todas as operações GroupBy; como criar um objeto GroupBy com df.groupby(); e como aplicar agregações integradas, como sum() e mean(), para obter um resultado por grupo. A seguir, exploraremos o agrupamento por uma ou várias chaves com mais métodos de agregação.