Introducción a los DataFrames de Dask

Dask es una biblioteca de computación paralela para Python que amplía NumPy y Pandas para trabajar con conjuntos de datos más grandes que la RAM disponible. Su módulo dask.dataframe proporciona una API de DataFrame casi idéntica a la de Pandas, pero, en lugar de ejecutar las operaciones inmediatamente, Dask crea un grafo de tareas y las ejecuta de forma diferida cuando se llama a .compute(). Esto permite paralelizar el trabajo en varios núcleos o incluso en varias máquinas con cambios mínimos en el código.

Dask se instala con pip install dask[dataframe]. La convención de importación es import dask.dataframe as dd. Internamente, un Dask DataFrame se divide en muchos DataFrames de Pandas más pequeños, cada uno de los cuales se procesa de forma independiente. Las operaciones sobre el Dask DataFrame crean un grafo de tareas diferido; no se ejecuta nada hasta que se llama a .compute(). Esta separación entre describir y ejecutar el cálculo es la idea clave de Dask.

Con Pandas, cada operación se ejecuta de forma inmediata y anticipada. Con Dask, las operaciones devuelven otro objeto de Dask que representa el cálculo diferido. Dask no lee los datos ni ejecuta el grafo de tareas hasta que se llama a .compute(). Esta ejecución diferida permite a Dask optimizar el plan antes de ejecutarlo; por ejemplo, puede fusionar filtros consecutivos para evitar cargar los datos varias veces. Piense en ello como una receta: Dask escribe la receta y .compute() prepara el plato.

Un Dask DataFrame se divide en particiones, cada una de las cuales es un DataFrame de Pandas normal. De forma predeterminada, dd.read_csv crea una partición por archivo (o una por cada 128 MB en archivos grandes). Puede controlar esto con blocksize. Al consultar ddf.npartitions verá cuántas particiones existen. Un mayor número de particiones permite más paralelismo, pero añade sobrecarga; un menor número reduce la sobrecarga, pero limita el paralelismo. Normalmente, el punto óptimo se encuentra en unos pocos cientos de particiones.

La mayoría de las operaciones habituales de Pandas funcionan de forma idéntica en Dask: .head(), .tail(), .describe(), la indexación booleana, .groupby(), .merge() y .assign() tienen equivalentes en Dask. La diferencia principal es que debe llamar a .compute() para materializar el resultado. Las operaciones que Pandas resuelve en milisegundos pueden tardar segundos en Dask debido a la sobrecarga del grafo de tareas; por eso, use Pandas para datos pequeños y Dask cuando los datos no quepan en la RAM.

Una de las funciones más útiles de Dask es leer varios archivos a la vez mediante patrones glob. dd.read_csv('data/2024-*.csv') lee todos los archivos coincidentes y crea una partición por archivo. Es ideal para datos almacenados en archivos particionados por mes o por día, un patrón habitual en los lagos de datos. Dask alinea los esquemas automáticamente; es equivalente a recorrer los archivos manualmente y concatenarlos con Pandas, pero mucho más sencillo.

Antes de ejecutar una canalización compleja de Dask, puede inspeccionar el grafo de tareas llamando a result.visualize(), que genera un diagrama PNG de todos los pasos del cálculo. Esto resulta útil para entender qué ejecutará Dask y para depurar una lentitud inesperada. El grafo muestra cómo fluyen las particiones por los pasos de filtrado, groupby y agregación, lo que facilita detectar cálculos redundantes. Requiere el paquete graphviz.

Cuando necesite aplicar una función personalizada de Pandas a un Dask DataFrame, use ddf.map_partitions(func). Esto aplica func a cada partición de forma independiente y devuelve un nuevo Dask DataFrame. La función recibe un DataFrame normal de Pandas y debe devolver otro. Es el equivalente en Dask de df.apply() y permite integrar Dask con código que solo entiende Pandas.

Dask dispone de varios planificadores que controlan cómo se ejecutan las tareas. El planificador 'synchronous' ejecuta las tareas secuencialmente en el hilo actual (es útil para depurar). El planificador 'threads' utiliza un conjunto de hilos (adecuado para trabajos limitados por E/S). El planificador 'processes' inicia varios procesos para trabajos limitados por la CPU (evita el GIL de Python). Un clúster distribuido de Dask permite ejecutar tareas en varias máquinas. Especifique el planificador mediante compute(scheduler='threads').

Es habitual procesar un conjunto de datos grande con Dask y después llevar el resultado agregado a Pandas para el análisis o la visualización finales. Use .compute() para convertir un Dask DataFrame en un DataFrame de Pandas. En la dirección contraria, dd.from_pandas(df, npartitions=4) convierte un DataFrame de Pandas en un Dask DataFrame, lo que resulta útil para probar código de Dask con datos pequeños antes de ampliarlo al conjunto de datos completo.

Dask no siempre es la herramienta adecuada. Use Pandas cuando sus datos quepan en la RAM (menos de unos pocos GB); es más sencillo y rápido porque tiene menos sobrecarga. Use Dask cuando los datos superen la RAM disponible, pero quiera una sintaxis similar a la de Pandas y paralelismo en una sola máquina. Use SQL o una base de datos cuando los datos residan en una base de datos relacional y las agregaciones puedan delegarse al motor de la base de datos. Use Spark o BigQuery cuando necesite procesamiento distribuido en varias máquinas a escala de petabytes.

Ponga a prueba su comprensión de los conceptos de análisis de datos de esta lección.

En esta lección ha aprendido que los Dask DataFrames son colecciones evaluadas de forma diferida de particiones de Pandas con una API conocida; .compute() inicia la ejecución real del grafo de tareas; y map_partitions permite aplicar cualquier función personalizada de Pandas a todas las particiones. A continuación, veremos el formato Parquet como alternativa columnar rápida al CSV para almacenar conjuntos de datos grandes.