Transformação e filtragem com GroupBy

Depois de dominar agg(), surge naturalmente a pergunta: e se o senhor quiser manter todas as linhas originais, mas enriquecê-las com estatísticas no nível do grupo? Ou manter apenas os grupos que atendem a uma condição? É nesse ponto que entram transform() e filter(). Esses dois métodos ampliam o GroupBy para além de simples resumos, abrangendo a criação de atributos e a seleção de dados.

transform() aplica uma função a cada grupo e retorna um resultado com o mesmo formato do DataFrame original — um valor para cada linha original. O resultado do grupo é retransmitido para cada linha pertencente a esse grupo. Isso torna o método ideal para adicionar estatísticas no nível do grupo como novas colunas sem alterar a quantidade de linhas.

Entre as aplicações comuns de transform() estão: adicionar a média do grupo para normalizar valores; adicionar a soma do grupo para calcular o percentual do total correspondente a cada linha; e adicionar a classificação no grupo para verificar como cada integrante se compara aos demais dentro do grupo. Tudo isso preserva o formato e o índice originais, tornando o resultado imediatamente utilizável junto às colunas originais.

Assim como agg(), transform() aceita qualquer função invocável, além de nomes de texto. A função recebe uma Series de valores de um grupo e deve retornar uma Series com o mesmo comprimento ou um escalar, que será então retransmitido. Retornar um escalar é o caso de uso mais comum — retornar uma Series com comprimento diferente causará um erro.

A principal diferença é a seguinte: agg() reduz a quantidade de linhas, com uma por grupo, enquanto transform() preserva a quantidade de linhas, com uma por linha original. Use agg() para criar uma tabela de resumo. Use transform() para adicionar informações no nível do grupo como uma nova coluna de atributos no DataFrame original.

filter() mantém ou descarta grupos inteiros com base em uma função booleana. O senhor passa uma função que recebe um sub-DataFrame de um grupo e retorna True (manter o grupo) ou False (descartar o grupo). O resultado é um subconjunto do DataFrame original contendo apenas as linhas dos grupos aprovados no teste.

Um uso muito comum de filter() é manter grupos cujo valor agregado atenda a um limite. Por exemplo, manter apenas os departamentos em que o salário médio ultrapassa uma meta ou apenas as categorias de produtos com vendas totais acima de um mínimo. Isso permite remover grupos com baixo volume antes de continuar a análise.

O senhor pode aplicar transform() e filter() em sequência para enriquecer seus dados e depois restringi-los. Primeiro, use filter() para remover grupos irrelevantes; em seguida, use transform() no resultado filtrado para adicionar atributos no nível do grupo. A combinação produz um subconjunto limpo e rico em atributos, pronto para modelagem ou elaboração de relatórios.

transform() também é útil com funções não numéricas. Um padrão comum é preencher valores ausentes dentro de um grupo usando o preenchimento progressivo ou a mediana do grupo, o que é muito melhor que um preenchimento global. Passe uma lambda que chame fillna() na Series do grupo, e o resultado terá o mesmo índice do DataFrame original.

Um caso de uso empresarial muito útil é calcular a posição de cada linha em relação ao seu grupo. Ao combinar transform() com operações aritméticas, o senhor pode adicionar colunas como: salário menos a média do grupo (desvio); salário como fração do total do grupo; ou um indicador booleano que mostra se esse funcionário ganha acima da mediana do grupo. Esses atributos são extremamente úteis para painéis e modelos de aprendizado de máquina.

Tanto transform() quanto filter(), quando usados com funções integradas na forma de texto, são rápidos porque utilizam caminhos de execução otimizados. No entanto, quando o senhor passa uma lambda ou uma função personalizada em Python, o Pandas precisa chamar essa função uma vez por grupo, o que pode ser lento em dados com muitos grupos. Para obter o máximo desempenho em grandes conjuntos de dados, verifique se a sua lógica personalizada pode ser expressa usando, em vez disso, uma função integrada na forma de texto.

Nesta lição, o senhor aprendeu: transform() retorna estatísticas do grupo retransmitidas até a quantidade de linhas original, sendo ideal para adicionar atributos no nível do grupo; filter() mantém ou remove grupos inteiros com base em uma condição booleana; e a combinação de ambos permite criar conjuntos de dados ricos e filtrados para análises posteriores. A seguir, exploraremos como combinar DataFrames usando pd.concat.