Agregación incremental entre bloques

La agregación incremental es la clave para analizar conjuntos de datos más grandes que la RAM sin distribuir el cálculo entre varias máquinas. En lugar de cargar todos los datos para calcular una estadística final, se mantienen acumuladores acumulados —sumas parciales, recuentos y valores mínimos/máximos— y se actualizan con cada bloque. El resultado final se ensambla a partir de estos acumuladores ligeros después de explorar todo el archivo. Este patrón permite procesar archivos de terabytes en un solo portátil.

Calcular la media entre bloques requiere realizar un seguimiento independiente de la suma y el recuento acumulados. No puede limitarse a promediar las medias de cada bloque, porque los bloques pueden tener tamaños diferentes. La fórmula correcta es total_sum / total_count. Este patrón se extiende a cualquier magnitud que pueda descomponerse: la varianza, la correlación y los histogramas también tienen fórmulas incrementales.

Realizar un seguimiento del mínimo y el máximo globales entre bloques es sencillo: inicialice los valores con float('inf') y float('-inf') de Python y, después, actualícelos con el mínimo y el máximo de cada bloque. Esto evita almacenar datos intermedios. El patrón se generaliza al mínimo y máximo por grupo manteniendo un diccionario cuyas claves sean los identificadores de grupo.

Para las columnas categóricas, mantenga un diccionario de frecuencias acumuladas sumando el resultado de value_counts() de cada bloque a un acumulador de Series de Pandas. Como la suma de Series de Pandas alinea las etiquetas del índice, las categorías desconocidas de los bloques posteriores se incluyen automáticamente. Después de procesar todos los bloques, ordene por recuento para ver las categorías principales de todo el conjunto de datos.

Para calcular una suma o un recuento con groupby entre bloques, aplique groupby().agg() dentro de cada bloque y almacene la Series o el DataFrame resultante. Después del bucle, concatene todos los resultados parciales y aplique un segundo groupby para combinarlos. Este enfoque en dos etapas gestiona correctamente los grupos que aparecen en varios bloques, algo habitual cuando los datos están ordenados por fecha en lugar de por grupo.

Calcular la varianza entre bloques es más complicado que calcular la media. La fórmula ingenua E[X²] - E[X]² sufre cancelación catastrófica cuando las medias son grandes. El algoritmo en línea de Welford mantiene una media acumulada y una suma de desviaciones al cuadrado, y las actualiza con cada nuevo valor de forma numéricamente estable. Aunque SciPy lo implementa, comprender el patrón permite ampliarlo a la varianza ponderada y la covarianza.

Calcular la distribución de una columna en un archivo demasiado grande para la RAM requiere un histograma incremental. Fije previamente los límites de los intervalos (basándose en una muestra pequeña o en el conocimiento del dominio), use después np.histogram(chunk_values, bins=edges) dentro de cada bloque y acumule los recuentos. Al final, represente los recuentos combinados en un gráfico de barras. Así es como sistemas de streaming como Kafka Streams y Flink calculan histogramas aproximados.

Contar los valores distintos exactos entre bloques requiere almacenar todos los valores únicos, potencialmente millones. Para obtener recuentos aproximados a gran escala, use un esquema HyperLogLog, disponible en Python mediante la biblioteca hyperloglog. Como alternativa, realice un seguimiento de los valores únicos de cada bloque con un conjunto y calcule la unión, aunque esta crece sin límite. Para una aproximación económica, use pd.Series.nunique() por bloque e informe de la media: no es exacta, pero suele ser suficiente para perfilar los datos.

Procesar un archivo de varios gigabytes puede tardar varios minutos. Añada información sobre el progreso para saber que el pipeline sigue ejecutándose y poder estimar el tiempo restante. Cuente los bytes o las filas procesados y compárelos con el tamaño del archivo. La biblioteca tqdm hace que esto sea trivial con su envoltorio tqdm(reader). Incluso sin tqdm, imprimir una línea de estado cada 10 bloques proporciona información valiosa durante trabajos por lotes largos.

Aplique los filtros dentro de cada bloque antes de realizar la agregación para evitar acumular datos no deseados. Por ejemplo, si solo le interesan los pedidos de 2024, filtre la columna de fecha del bloque antes de usar groupby. Esto reduce la memoria necesaria para los resultados parciales y acelera el paso final de concatenación. Aplique siempre los filtros lo antes posible en el pipeline: es un principio fundamental del procesamiento eficiente de datos.

Para trabajos de muy larga duración, guarde periódicamente los resultados intermedios para poder reanudar desde un punto de control si el proceso se interrumpe. Escriba los agregados de cada bloque en un archivo Parquet o CSV después de cada N bloques. Si el trabajo falla en el bloque 800 de 1000, puede volver a cargar los agregados guardados y continuar desde donde lo dejó, en lugar de volver a procesar todo el archivo. Este patrón de resiliencia es esencial en las canalizaciones de datos de producción.

Ponga a prueba su comprensión de los conceptos de análisis de datos de esta lección.

En esta lección ha aprendido que los acumuladores en ejecución (suma, cantidad, mínimo/máximo y Series de frecuencias) permiten realizar agregaciones con un uso constante de memoria en archivos grandes; el groupby en dos etapas (un groupby parcial por bloque, seguido de concatenación y una nueva agrupación) gestiona correctamente los grupos distribuidos entre bloques; y el filtrado anticipado dentro de cada bloque reduce el coste de la etapa de acumulación. A continuación, exploraremos Dask DataFrames como sustituto paralelo de Pandas para conjuntos de datos grandes.