El patrón Split-Apply-Combine

La operación GroupBy es uno de los patrones más potentes del análisis de datos. Permite dividir un DataFrame en grupos, aplicar una función a cada grupo de forma independiente y combinar después los resultados en una nueva estructura. Este flujo de trabajo se conoce como patrón de dividir-aplicar-combinar, un término acuñado por el estadístico Hadley Wickham.

En el paso de división, Pandas divide el DataFrame en sub-DataFrames según los valores únicos de una o más columnas. Por ejemplo, si los datos tienen una columna region con valores como 'North', 'South' y 'West', el paso de división crea tres grupos independientes. Todavía no se mueve ni se copia ningún dato: Pandas solo registra qué filas pertenecen a cada grupo.

En el paso de apply, se aplica una función a cada grupo de forma independiente. La función puede ser una agregación integrada, como sum() o mean(), o una función personalizada que defina usted. Las filas de cada grupo se pasan a la función, que devuelve como resultado un escalar, una Series o un DataFrame.

En el paso de combine, Pandas vuelve a reunir automáticamente los resultados de cada grupo en un único objeto, normalmente una Series o un DataFrame. Las claves de los grupos se convierten en el índice del resultado. Este paso se realiza de forma invisible al llamar a un método de agregación sobre un objeto GroupBy, lo que proporciona una tabla de resumen clara con una fila por grupo.

Puede crear un objeto GroupBy llamando a df.groupby(column). En esta etapa no se calcula nada: es un objeto perezoso. Puede iterar sobre él para ver los grupos o encadenar un método de agregación para activar el cálculo. Pasar as_index=False mantiene la columna de agrupación como una columna normal en lugar de convertirla en el índice del resultado.

Puede iterar sobre un objeto GroupBy para inspeccionar cada grupo individualmente. Cada iteración produce una tupla de (group_key, sub_dataframe). Esto resulta útil para depurar o cuando desea procesar cada grupo con código Python arbitrario. Sin embargo, en producción, para obtener un mejor rendimiento, prefiera los métodos de agregación vectorizados a la iteración explícita.

Pandas GroupBy admite muchas funciones de agregación integradas: sum(), mean(), count(), min(), max(), std(), median(), entre otras. Están muy optimizadas y se ejecutan en todos los grupos en una sola pasada. Siempre debe preferirlas a escribir una función Python personalizada cuando exista una alternativa integrada.

Puede aplicar agregaciones a varias columnas simultáneamente seleccionándolas antes de llamar al método de agregación, o bien omitir la selección de columnas para agregar todas las columnas numéricas. El resultado es un DataFrame en lugar de una Series, con una columna por cada variable agregada.

Considere GroupBy como la cláusula GROUP BY de SQL. El código de Pandas df.groupby('region')['sales'].sum() equivale a SELECT region, SUM(sales) FROM df GROUP BY region en SQL. Comprender esta correspondencia le ayuda a pasar de una herramienta a otra y a elegir la abstracción adecuada para su flujo de trabajo.

Es posible que se pregunte por qué no recorrer simplemente los valores únicos y calcular las estadísticas manualmente. La respuesta es el rendimiento y la legibilidad. Un bucle de Python sobre los grupos es mucho más lento que una única llamada vectorizada a groupby, especialmente con conjuntos de datos grandes. Las operaciones de GroupBy se ejecutan internamente en código C compilado, por lo que son entre 10 y 100 veces más rápidas que los bucles de Python equivalentes.

Cuando necesita un nivel de detalle mayor, agrupe por varias columnas pasando una lista a groupby(). El resultado tiene un MultiIndex, donde cada nivel corresponde a una columna de agrupación. Por ejemplo, agrupar por 'region' y 'quarter' proporciona los totales de cada combinación de región y trimestre.

Compruebe cuánto entiende del patrón dividir-aplicar-combinar explicado en esta lección.

En esta lección ha aprendido: el patrón dividir-aplicar-combinar en el que se basan todas las operaciones de GroupBy, cómo crear un objeto GroupBy con df.groupby() y cómo aplicar agregaciones integradas como sum() y mean() para obtener un resultado por grupo. A continuación, exploraremos la agrupación por una o varias claves con más métodos de agregación.