Transform y Filter de GroupBy

Después de dominar agg(), surge una pregunta natural: ¿qué ocurre si quiere conservar todas las filas originales, pero enriquecerlas con estadísticas del grupo? ¿O conservar únicamente los grupos que cumplen una condición? Aquí es donde entran en juego transform() y filter(). Estos dos métodos amplían GroupBy más allá de los simples resúmenes, hacia la ingeniería de características y la selección de datos.

transform() aplica una función a cada grupo y devuelve un resultado con la misma forma que el DataFrame original: un valor por cada fila original. El resultado del grupo se propaga de vuelta a cada fila que pertenece a ese grupo. Esto lo hace ideal para añadir estadísticas del grupo como nuevas columnas sin cambiar el número de filas.

Entre las aplicaciones habituales de transform() se incluyen: añadir la media del grupo para normalizar valores, añadir la suma del grupo para calcular el porcentaje del total correspondiente a cada fila y añadir el rango dentro del grupo para ver cómo se compara cada elemento con los demás de su grupo. Todas estas operaciones conservan la forma y el índice originales, por lo que el resultado se puede usar inmediatamente junto con las columnas originales.

Al igual que agg(), transform() acepta cualquier objeto invocable, además de nombres de funciones en forma de cadena. La función recibe una Series de valores de un grupo y debe devolver una Series de la misma longitud o un escalar, que se propagará a todas las filas. Devolver un escalar es el caso de uso más habitual; devolver una Series de distinta longitud provocará un error.

La diferencia clave es la siguiente: agg() reduce el número de filas, dejando una por grupo, mientras que transform() conserva el número de filas, dejando una por cada fila original. Use agg() para crear una tabla resumen. Use transform() para añadir información del grupo como una nueva columna de características en el DataFrame original.

filter() conserva o descarta grupos completos según una función booleana. Debe pasar una función que reciba un sub-DataFrame de un grupo y devuelva True (conservar el grupo) o False (descartar el grupo). El resultado es un subconjunto del DataFrame original que contiene únicamente las filas de los grupos que superaron la prueba.

Un uso muy habitual de filter() consiste en conservar los grupos cuyo valor agregado alcanza un umbral. Por ejemplo, puede conservar únicamente los departamentos cuyo salario medio supere un objetivo o las categorías de productos cuyas ventas totales superen un mínimo. Esto permite eliminar los grupos con poco volumen antes de realizar análisis adicionales.

Puede aplicar transform() y filter() secuencialmente para enriquecer los datos y después acotarlos. Primero use filter() para eliminar los grupos irrelevantes y, después, use transform() en el resultado filtrado para añadir características del grupo. La combinación proporciona un subconjunto limpio y enriquecido con características, listo para crear modelos o informes.

transform() también resulta útil con funciones no numéricas. Un patrón habitual consiste en rellenar los valores ausentes dentro de un grupo usando el relleno hacia delante o la mediana del grupo, lo que suele ser mucho mejor que aplicar un relleno global. Pase una lambda que llame a fillna() sobre la Series del grupo; el resultado tendrá el mismo índice que el DataFrame original.

Un caso de uso empresarial muy potente consiste en calcular la posición de cada fila con respecto a su grupo. Al combinar transform() con operaciones aritméticas, puede añadir columnas como: salario menos la media del grupo (desviación), salario como fracción del total del grupo o un indicador booleano que señale si este empleado gana por encima de la mediana del grupo. Estas características resultan extremadamente útiles para cuadros de mando y modelos de ML.

Tanto transform() como filter(), cuando se usan con funciones integradas especificadas como cadenas, son rápidos porque utilizan rutas de código optimizadas. Sin embargo, cuando pasa una lambda o una función personalizada de Python, Pandas debe llamar a esa función una vez por grupo, lo que puede ser lento en datos con muchos grupos. Para obtener el máximo rendimiento con conjuntos de datos grandes, compruebe si su lógica personalizada se puede expresar mediante una función integrada especificada como cadena.

En esta lección ha aprendido que transform() devuelve estadísticas del grupo que se propagan de vuelta hasta recuperar el número de filas original, por lo que resulta ideal para añadir características del grupo; que filter() conserva o elimina grupos completos según una condición booleana; y que combinar ambos métodos permite crear conjuntos de datos enriquecidos y filtrados para análisis posteriores. A continuación exploraremos cómo combinar DataFrames mediante pd.concat.