apply() com GroupBy

O método integrado agg() lida com agregações simples, como sum, mean e count — uma saída escalar por grupo. No entanto, alguns cálculos no nível do grupo exigem analisar todo o sub-DataFrame do grupo, e não apenas uma única coluna. groupby().apply(func) passa o DataFrame completo do grupo para sua função e reúne os resultados, permitindo criar resumos complexos que agg() não consegue expressar.

Quando a função passada para groupby().apply() retorna um escalar, o resultado é uma Series indexada pelas chaves dos grupos — idêntica à produzida por agg(). Essa forma é útil quando o escalar exige uma lógica que envolve várias colunas, como calcular a proporção da receita do produto líder em relação à receita total do grupo, algo que não pode ser expresso em uma única especificação de coluna de agg().

Quando a função retorna uma pd.Series, o resultado tem um MultiIndex: o nível externo é a chave do grupo e o nível interno é o índice da Series. Isso é útil para calcular várias estatísticas por grupo em uma única chamada de apply, produzindo uma tabela de resumo na qual cada grupo tem várias linhas de métricas.

Quando a função retorna um pd.DataFrame, groupby().apply() concatena verticalmente todos os sub-DataFrames. Esta é a forma mais poderosa: ela permite filtrar ou transformar as linhas dentro de cada grupo e retornar um subconjunto modificado. Por exemplo, manter apenas os 2 principais produtos por receita dentro de cada região.

Um uso comum de groupby().apply() é calcular a padronização dentro dos grupos. Em vez de normalizar a receita em relação a todos os pedidos, misturando as regiões, calcule a pontuação Z da receita dentro de cada região. Uma pontuação Z de 2 no Norte significa "2 desvios-padrão acima da média do Norte" — uma referência mais significativa do que 2 desvios-padrão acima da média global.

A média winsorizada limita os valores extremos antes de calcular a média, tornando-se mais robusta do que a média simples em distribuições assimétricas. Essa agregação personalizada não pode ser expressa com funções padrão de agg(), mas é simples com groupby().apply(): limite os valores no 5º e no 95º percentis dentro de cada grupo e, em seguida, calcule a média dos valores limitados.

As janelas móveis aplicadas ao DataFrame completo ignoram os limites dos grupos. Se você calcular uma média móvel de 3 linhas em uma série temporal que intercala dois produtos, a janela atravessará incorretamente os limites dos produtos. Aplique a janela móvel dentro de um groupby().apply() para garantir que cada cálculo móvel permaneça dentro do próprio grupo — por exemplo, uma média móvel da receita de 3 meses por região.

No Pandas 2.2 e em versões posteriores, groupby().apply() gera um FutureWarning se as chaves do agrupamento aparecerem no DataFrame recebido pela função. Passe include_groups=False para excluir as colunas usadas no agrupamento do sub-DataFrame passado à função. Isso evita tanto o aviso quanto operações acidentais nas colunas de chave dentro do corpo da função.

Quando groupby().apply() retorna um DataFrame por grupo, o resultado tem um MultiIndex que inclui a chave do grupo como nível externo. Use reset_index(drop=True) para transformar o índice novamente em um intervalo inteiro simples. Como alternativa, use reset_index(level=0) para promover a chave do grupo a uma coluna, deixando-a explícita na saída.

groupby().apply() serve para cálculos complexos no nível dos grupos que retornam uma forma diferente da entrada. groupby().transform() serve para cálculos que adicionam uma nova coluna alinhada ao índice original — como transmitir a média do grupo de volta para cada linha para fins de normalização. Use transform quando precisar que o resultado tenha a mesma forma do DataFrame original; use apply quando a forma do resultado for diferente.

groupby().apply() é significativamente mais lento do que groupby().agg() para operações simples, porque apply() cria um objeto Python completo para cada grupo. Para somas, médias e contagens, use sempre agg(). Reserve apply() para casos que realmente exigem o DataFrame completo do grupo — lógica condicional que envolve várias colunas, estatísticas personalizadas ou filtragem dentro dos grupos.

Teste sua compreensão dos conceitos de Análise de Dados desta lição.

Nesta lição, você aprendeu: a retornar escalares, Series e DataFrames de groupby().apply(), a calcular pontuações Z dentro dos grupos e estatísticas robustas personalizadas e a escolher entre apply(), agg() e transform() para operações no nível dos grupos. A seguir, exploraremos map() e applymap() para operações elemento a elemento em Series e DataFrames.