Lectura por bloques de archivos grandes

Un cuello de botella habitual en las canalizaciones de datos de producción es que un archivo CSV sea más grande que la RAM disponible. Si un archivo ocupa 20 GB y el equipo tiene 16 GB de RAM, pd.read_csv('file.csv') fallará con un MemoryError. La solución es la lectura por fragmentos: cargar el archivo en partes de tamaño fijo, procesar cada parte y acumular los resultados. Esto le permite analizar archivos de cualquier tamaño sin cargarlos por completo en la memoria.

Pase chunksize=n a pd.read_csv() para obtener un iterador TextFileReader en lugar de un DataFrame. Cada iteración devuelve las siguientes n filas como un DataFrame. De este modo, solo hay n filas en memoria en cada momento. Un buen valor inicial para chunksize es 100.000 filas: es lo bastante pequeño para caber en la RAM, pero lo bastante grande para mantener bajo control la sobrecarga de E/S. Ajústelo según la RAM disponible y el número de columnas.

Utilice un bucle for sobre el iterador de fragmentos para procesar cada fragmento. Para operaciones sencillas, como contar filas, sumar una columna o filtrar, procese cada fragmento de forma independiente y acumule los resultados en una lista o en un total acumulado. Llame siempre al iterador dentro de una instrucción with o asegúrese de volver a crearlo en cada ejecución de la canalización: los iteradores se consumen una sola vez y no se pueden reiniciar.

Aplique los filtros de filas dentro del bucle para descartar los datos que no necesite antes de acumularlos. Así se mantiene bajo el uso de memoria, ya que solo se conservan las filas que cumplen sus criterios. Por ejemplo, para extraer todas las filas de la región 'North' de un archivo de 10 GB, filtre cada fragmento antes de añadirlo a la lista de resultados. El pd.concat final solo procesará el subconjunto filtrado, que será mucho más pequeño.

Las agregaciones con GroupBy entre fragmentos son más complicadas que las sumas simples, porque un mismo grupo puede abarcar varios fragmentos. El patrón consiste en calcular las sumas y los recuentos por grupo en cada fragmento, concatenar esos resultados parciales y realizar un groupby final sobre los resultados parciales acumulados. Nunca llame a groupby().mean() en cada fragmento para después calcular la media de esas medias: los resultados serán incorrectos cuando el tamaño de los grupos varíe entre fragmentos.

Reduzca el uso de memoria durante la carga por fragmentos especificando de antemano los dtypes de las columnas en read_csv. Esto evita que Pandas asigne tipos grandes para cada fragmento y después los descarte. Pase un diccionario como dtype={'region': 'category', 'sales': 'int32'} a read_csv(). Combinado con la lectura por fragmentos, esto puede reducir el uso máximo de memoria a menos del 10 % del que requeriría cargar todo el archivo de forma ingenua.

Cuando también sea necesario escribir en un archivo el resultado del procesamiento de cada fragmento, escriba cada fragmento procesado a medida que avance, en lugar de acumularlo todo en memoria. Use mode='a' (añadir) y header=False (después del primer fragmento) con to_csv(). Así, tanto la memoria ocupada por la entrada como la de la salida se mantienen limitadas al tamaño del fragmento, lo que permite procesar archivos de cualquier tamaño en un equipo con memoria limitada.

Dask proporciona una API similar a la de Pandas que ejecuta las operaciones de forma diferida y en paralelo entre fragmentos automáticamente. En lugar de escribir un bucle manual para procesar fragmentos, escriba dask_df = dd.read_csv('file.csv') y después utilice las mismas operaciones de Pandas: groupby, filter y merge. Llame a .compute() al final para iniciar la ejecución. Dask es la solución más práctica cuando la canalización incluye operaciones complejas de varios pasos que son difíciles de implementar manualmente con fragmentos.

El tamaño de fragmento ideal equilibra dos factores contrapuestos: un tamaño demasiado pequeño, por ejemplo, 1.000 filas, provoca una gran sobrecarga por fragmento, como la configuración de la E/S del archivo y la creación del DataFrame, y hace que el bucle tarde más. Un tamaño demasiado grande, por ejemplo, 10 millones de filas, contradice el objetivo al cargar demasiados datos en la RAM de una sola vez. Un punto de partida práctico es utilizar fragmentos de entre 50 y 200 MB en memoria. Para un DataFrame con 10 columnas de 8 bytes de media cada una, 100.000 filas ocupan aproximadamente 8 MB por fragmento: un valor predeterminado seguro que deja bastante margen.

Si puede controlar el formato del archivo, prefiera Parquet frente a CSV para conjuntos de datos grandes. Parquet es un formato binario columnar que carga solo las columnas solicitadas (selección de columnas), comprime mucho mejor que CSV, conserva los tipos de datos (sin volver a inferirlos al cargar) y se lee entre 5 y 20 veces más rápido que un CSV equivalente. Convierta una vez un CSV grande a Parquet mediante pd.read_csv('file.csv', chunksize=500000) + to_parquet y, después, use pd.read_parquet(columns=['col1','col2']) para todas las lecturas posteriores.

Un patrón completo para procesar archivos grandes: 1) Especifique los tipos de datos al leer. 2) Filtre las filas lo antes posible dentro del bucle. 3) Calcule agregaciones parciales por fragmento (suma + recuento, nunca la media directamente). 4) Después del bucle, combine los resultados parciales y calcule las estadísticas finales. 5) Escriba la salida de forma incremental si los resultados son grandes. Este patrón permite procesar archivos de cualquier tamaño en cualquier equipo ajustando adecuadamente chunksize.

En esta lección ha aprendido que chunksize en read_csv devuelve un iterador que proporciona un DataFrame por fragmento, lo que permite procesar de forma incremental archivos más grandes que la RAM; las agregaciones parciales (suma + recuento) se acumulan correctamente entre fragmentos, mientras que no se puede calcular directamente la media de las medias; y el formato Parquet es la mejor alternativa a largo plazo frente a CSV para conjuntos de datos grandes gracias a su compresión, velocidad y conservación de los tipos de datos. Con esto termina el curso de Consejos de rendimiento de Pandas: ya está preparado para los cursos avanzados de nivel B2.