Classificação e percentil dentro dos grupos

Os valores brutos costumam ser menos significativos do que as posições relativas. Um representante de vendas com receita mensal de US$ 50.000 é um profissional de alto desempenho se a média for US$ 30.000, mas terá baixo desempenho se a média for US$ 80.000. Ao calcular posições dentro dos grupos (por exemplo, a posição em cada região ou em cada trimestre), você obtém uma comparação normalizada que considera as diferentes referências entre os grupos. Pandas facilita o cálculo de posições dentro dos grupos com groupby().rank().

Series.rank() atribui uma posição a cada valor: a posição 1 é a menor e a posição n é a maior. O parâmetro ascending=False inverte a direção, fazendo com que a posição 1 seja a maior. O resultado é uma Series de ponto flutuante (não inteira), pois, por padrão, os empates são resolvidos calculando-se a média das posições empatadas. Para uma coluna com 5 valores, as posições vão de 1.0 a 5.0 — ou, no caso de empates, alguns valores podem compartilhar uma posição, como 2.5.

O parâmetro method controla o que acontece com os valores empatados. Opções: 'average' (padrão — os valores empatados compartilham a média de suas posições), 'min' (todos os valores empatados recebem a menor posição), 'max' (todos recebem a maior posição), 'first' (as posições seguem a ordem de aparição — sem empates) e 'dense' (sem lacunas nas posições — 1, 2, 3, 3, 4 se torna 1, 2, 3, 3, 4 em vez de 1, 2, 3, 3, 5). O método 'dense' é mais útil para classificações no estilo de percentil.

groupby('group_col')['value_col'].rank() calcula as posições independentemente dentro de cada grupo. A posição é reiniciada no início de cada grupo — portanto, o profissional de melhor desempenho na região Leste recebe a posição 1 no Leste, e o melhor profissional na região Oeste também recebe a posição 1 no Oeste. É isso que torna o cálculo de posições com groupby tão útil para comparações justas entre grupos.

Definir pct=True em rank() retorna a posição do percentil: um valor entre 0 e 1 que representa a fração dos valores do grupo que é menor ou igual ao valor atual. Uma posição de percentil de 0.8 significa que o valor está no percentil 80 — é maior do que 80% de todos os valores. Essa normalização torna os valores de grupos de tamanhos diferentes diretamente comparáveis, sem que seja necessário conhecer o tamanho real dos grupos.

pd.qcut(series, q) divide os valores em q intervalos com a mesma frequência, de modo que cada intervalo contenha aproximadamente o mesmo número de observações. Ao contrário de pd.cut, que usa intervalos de mesma largura, pd.qcut adapta os limites dos intervalos à distribuição dos dados. Isso é perfeito para criar quartis (q=4), quintis (q=5) ou decis (q=10) para níveis de desempenho.

pd.cut(series, bins=n) cria intervalos de mesma largura (mesmo intervalo, quantidades diferentes). pd.qcut(series, q=n) cria intervalos de mesma frequência (mesma quantidade, intervalos diferentes). Em dados assimétricos, pd.cut resulta em intervalos quase vazios nas extremidades, enquanto pd.qcut distribui as observações uniformemente. Escolha pd.cut quando os limites dos intervalos tiverem um significado empresarial natural (faixas de preço, grupos de idade); escolha pd.qcut para níveis de desempenho nos quais você queira grupos do mesmo tamanho.

pd.qcut(series, q=10, labels=range(1,11)) atribui cada observação ao seu decil (de 1 a 10). Essa é uma técnica padrão em análise de marketing (decis de valor do cliente), pontuação de crédito (decis de risco) e testes AB (decis de tráfego para análise de coortes). O parâmetro labels pode ser qualquer lista com o mesmo tamanho de q — use strings como ['Bottom 10%', ..., 'Top 10%'] para obter resultados mais fáceis de interpretar.

Combine groupby com pd.qcut, usando transform, para criar intervalos de percentil dentro de cada grupo. Isso é útil quando você quer classificar clientes dentro de cada região (em vez de globalmente) — um cliente no decil global inferior pode estar no topo do decil de sua região. Use groupby('group')['value'].transform(lambda x: pd.qcut(x, q=4, labels=['Q1','Q2','Q3','Q4'])).

Uma pergunta comum nos negócios é: "quem são os 3 profissionais de melhor desempenho em cada região?" Use groupby().rank() e, em seguida, filtre pela posição: df[df['rank_col'] <= 3]. Isso funciona bem com grupos de qualquer tamanho e trata os empates de forma adequada, mantendo mais de 3 linhas quando há posições empatadas no limite. Como alternativa, use groupby().nlargest(n), que retorna diretamente os n maiores valores por grupo sem adicionar uma coluna de posição.

Você pode usar groupby().rank(pct=True) combinado com transform para adicionar uma coluna de posição por percentil ao DataFrame original. Essa coluna normalizada costuma ser mais útil como característica de um modelo do que o valor bruto — ela não depende da escala e permite comparações entre grupos. Em aprendizado de máquina, as posições por percentil são uma alternativa simples à padronização (pontuação z) e são mais robustas a valores discrepantes.

Nesta lição, você aprendeu que Series.rank() calcula posições numéricas com regras configuráveis para desempate, groupby().rank() reinicia as posições dentro de cada grupo para permitir comparações justas entre grupos, pct=True converte posições em percentis (de 0 a 1) e pd.qcut cria intervalos de mesma frequência para atribuir níveis de quartil, decil e percentil. A seguir, exploraremos dicas de desempenho do Pandas — análise de desempenho, como evitar loops lentos e tipos de dados eficientes.