Rangos y percentiles dentro de grupos

Los valores sin procesar suelen ser menos significativos que las posiciones relativas. Un representante de ventas con 50.000 $ de ingresos mensuales es un empleado de alto rendimiento si el promedio es de 30.000 $, pero de bajo rendimiento si el promedio es de 80.000 $. Al calcular rangos dentro de grupos (por ejemplo, el rango dentro de cada región o de cada trimestre), obtiene una comparación normalizada que tiene en cuenta las distintas bases de referencia entre grupos. Pandas facilita el cálculo de rangos dentro de grupos mediante groupby().rank().

Series.rank() asigna un rango a cada valor: el rango 1 corresponde al menor valor y el rango n, al mayor. El parámetro ascending=False invierte la dirección, de modo que el rango 1 corresponde al mayor valor. El resultado es una Series de tipo float (no entero), porque de forma predeterminada los empates se resuelven calculando el promedio de los rangos empatados. Para una columna con 5 valores, los rangos van de 1.0 a 5.0; si hay empates, algunos valores pueden compartir un rango como 2.5.

El parámetro method controla qué ocurre con los valores empatados. Las opciones son: 'average' (predeterminada: los valores empatados comparten la media de sus rangos), 'min' (todos reciben el rango más bajo), 'max' (todos reciben el rango más alto), 'first' (los rangos se asignan según el orden de aparición, sin empates) y 'dense' (no hay saltos en los rangos: 1, 2, 3, 3, 4 se convierte en 1, 2, 3, 3, 4 en lugar de 1, 2, 3, 3, 5). El método 'dense' es especialmente útil para rangos de tipo percentil.

groupby('group_col')['value_col'].rank() calcula los rangos de forma independiente dentro de cada grupo. El rango se reinicia al comienzo de cada grupo: por tanto, el empleado de mejor rendimiento de la región Este obtiene el rango 1 en el Este, y el mejor de la región Oeste también obtiene el rango 1 en el Oeste. Esto es lo que hace que groupby rank resulte tan útil para realizar comparaciones justas entre grupos.

Establecer pct=True en rank() devuelve el rango percentil: un valor entre 0 y 1 que representa la fracción de valores del grupo que son menores o iguales que el valor actual. Un rango percentil de 0.8 significa que el valor se encuentra en el percentil 80: es superior al 80 % de todos los valores. Esta normalización permite comparar directamente valores de grupos de distinto tamaño sin conocer el tamaño real de los grupos.

pd.qcut(series, q) divide los valores en q intervalos con igual frecuencia, de modo que cada intervalo contiene aproximadamente el mismo número de observaciones. A diferencia de pd.cut, que utiliza intervalos de igual amplitud, pd.qcut adapta los límites de los intervalos a la distribución de los datos. Es ideal para crear cuartiles (q=4), quintiles (q=5) o deciles (q=10) para clasificar niveles de rendimiento.

pd.cut(series, bins=n) crea intervalos de igual amplitud (el mismo rango, con distinta cantidad de valores). pd.qcut(series, q=n) crea intervalos de igual frecuencia (la misma cantidad de valores, con distintos rangos). En datos sesgados, pd.cut produce intervalos casi vacíos en los extremos, mientras que pd.qcut distribuye las observaciones de manera uniforme. Elija pd.cut cuando los límites de los intervalos tengan un significado empresarial natural (rangos de precios o grupos de edad); elija pd.qcut para clasificar niveles de rendimiento cuando desee grupos del mismo tamaño.

pd.qcut(series, q=10, labels=range(1,11)) asigna cada observación a su decil (del 1 al 10). Esta es una técnica habitual en analítica de marketing (deciles de valor del cliente), evaluación crediticia (deciles de riesgo) y pruebas AB (deciles de tráfico para el análisis de cohortes). El parámetro labels puede ser cualquier lista cuya longitud sea igual a q; utilice cadenas como ['Bottom 10%', ..., 'Top 10%'] para obtener resultados más fáciles de interpretar.

Combine groupby con pd.qcut mediante transform para crear intervalos percentiles dentro de cada grupo. Esto resulta útil cuando desea clasificar a los clientes dentro de cada región, en lugar de hacerlo globalmente: un cliente del decil inferior global podría encontrarse en el decil superior de su región. Utilice groupby('group')['value'].transform(lambda x: pd.qcut(x, q=4, labels=['Q1','Q2','Q3','Q4'])).

Una pregunta empresarial habitual es «¿quiénes son los 3 empleados de mejor rendimiento de cada región?». Utilice groupby().rank() y filtre después por rango: df[df['rank_col'] <= 3]. Esto funciona correctamente con grupos de cualquier tamaño y gestiona los empates de forma adecuada, conservando más de 3 filas si hay rangos empatados en el límite. Como alternativa, utilice groupby().nlargest(n), que devuelve directamente los n valores más grandes de cada grupo sin añadir una columna de rangos.

Puede utilizar groupby().rank(pct=True) junto con transform para añadir una columna de rangos percentiles al DataFrame original. Esta columna normalizada suele ser más útil como característica de un modelo que el valor sin procesar: no depende de la escala y permite comparar grupos. En aprendizaje automático, los rangos percentiles son una alternativa sencilla a la estandarización (cálculo de puntuaciones z) y ofrecen mayor robustez frente a valores atípicos.

En esta lección ha aprendido que Series.rank() calcula rangos numéricos con resolución de empates configurable; groupby().rank() reinicia los rangos dentro de cada grupo para permitir comparaciones justas entre grupos; pct=True convierte los rangos en percentiles (de 0 a 1); y pd.qcut crea intervalos de igual frecuencia para asignar niveles de cuartiles, deciles y percentiles. A continuación exploraremos consejos de rendimiento de Pandas: creación de perfiles, cómo evitar bucles lentos y tipos de datos eficientes.