apply() con GroupBy

El método integrado agg() permite realizar agregaciones sencillas, como sumas, medias y recuentos, con una salida escalar por grupo. Sin embargo, algunos cálculos a nivel de grupo requieren examinar el sub-DataFrame completo del grupo, no solo una columna. groupby().apply(func) pasa el DataFrame completo del grupo a su función y recopila los resultados, lo que permite crear resúmenes complejos que agg() no puede expresar.

Cuando la función que se pasa a groupby().apply() devuelve un escalar, el resultado es una Series indexada por las claves de grupo, idéntica a la que produce agg(). Esta forma resulta útil cuando el escalar requiere lógica basada en varias columnas, como calcular la proporción entre los ingresos del producto principal y los ingresos totales del grupo, algo que no se puede expresar en una única especificación de columna de agg().

Cuando la función devuelve una pd.Series, el resultado tiene un MultiIndex: el nivel externo es la clave de grupo y el nivel interno es el índice de la Series. Esto resulta útil para calcular varias estadísticas por grupo en una sola llamada a apply y producir una tabla de resumen en la que cada grupo tiene varias filas de métricas.

Cuando la función devuelve un pd.DataFrame, groupby().apply() concatena verticalmente todos los sub-DataFrames. Esta es la forma más potente: permite filtrar o transformar las filas de cada grupo y devolver un subconjunto modificado. Por ejemplo, puede conservar solo los 2 productos con mayores ingresos de cada región.

Un uso habitual de groupby().apply() es calcular la estandarización dentro de cada grupo. En lugar de normalizar los ingresos con respecto a todos los pedidos, lo que mezcla las regiones, puede calcular la puntuación Z de los ingresos dentro de cada región. Una puntuación Z de 2 en North significa «2 desviaciones estándar por encima de la media de North», un punto de referencia más significativo que estar 2 desviaciones estándar por encima de la media global.

La media winsorizada recorta los valores extremos antes de calcular la media, por lo que es más robusta que la media simple en distribuciones sesgadas. Esta agregación personalizada no se puede expresar con las funciones estándar de agg(), pero es sencilla con groupby().apply(): recorte los valores en los percentiles 5 y 95 dentro de cada grupo y, después, calcule la media de los valores recortados.

Las ventanas móviles aplicadas al DataFrame completo ignoran los límites entre grupos. Si calcula una media móvil de 3 filas sobre una serie temporal que intercala dos productos, la ventana cruza incorrectamente los límites de los productos. Aplique la ventana móvil dentro de un groupby().apply() para garantizar que cada cálculo se mantenga dentro de su grupo; por ejemplo, para calcular la media móvil de ingresos de 3 meses por región.

En Pandas 2.2 y versiones posteriores, groupby().apply() muestra un FutureWarning si las claves de agrupación aparecen en el DataFrame que recibe la función. Pase include_groups=False para excluir las columnas de agrupación del sub-DataFrame que se pasa a la función. Así evitará tanto la advertencia como las operaciones accidentales sobre las columnas clave dentro del cuerpo de la función.

Cuando groupby().apply() devuelve un DataFrame por grupo, el resultado tiene un MultiIndex que incluye la clave de grupo como nivel externo. Use reset_index(drop=True) para volver a convertir el índice en un rango entero simple. Como alternativa, use reset_index(level=0) para convertir la clave de grupo en una columna y hacerla explícita en la salida.

groupby().apply() se utiliza para cálculos complejos a nivel de grupo que devuelven una forma distinta de la entrada. groupby().transform() se utiliza para cálculos que añaden una nueva columna alineada con el índice original, como devolver la media del grupo a cada fila para normalizarla. Use transform cuando necesite que el resultado tenga la misma forma que el DataFrame original; use apply cuando la forma del resultado sea diferente.

groupby().apply() es considerablemente más lento que groupby().agg() para operaciones sencillas, porque apply() crea un objeto completo de Python para cada grupo. Para sumas, medias y recuentos, use siempre agg(). Reserve apply() para los casos que realmente requieran el DataFrame completo del grupo: lógica condicional basada en varias columnas, estadísticas personalizadas o filtrado dentro de los grupos.

Compruebe su comprensión de los conceptos de análisis de datos de esta lección.

En esta lección ha aprendido: devolver escalares, Series y DataFrames desde groupby().apply(), calcular puntuaciones Z dentro de los grupos y estadísticas robustas personalizadas y elegir entre apply(), agg() y transform() para operaciones a nivel de grupo. A continuación, exploraremos map() y applymap() para realizar operaciones elemento a elemento en Series y DataFrames.