Probar los pasos del pipeline con aserciones

Un pipeline de datos que se ejecuta sin errores aún puede producir una salida incorrecta sin que nadie lo advierta: filas eliminadas por un filtro equivocado, una columna multiplicada por un factor incorrecto o una combinación que duplica filas porque la clave de unión no era única. La única forma de detectar estos fallos silenciosos es incorporar aserciones que verifiquen las propiedades esperadas de los datos en cada etapa del pipeline. Las aserciones convierten los errores lógicos en errores evidentes y visibles de inmediato.

Después de cada paso de filtrado, compruebe mediante una aserción que el número de filas resultante se encuentre dentro del intervalo esperado. Muy pocas filas significa que el filtro fue demasiado restrictivo; demasiadas filas significa que una combinación duplicó registros. Exprese el intervalo esperado como una fracción de la entrada: por ejemplo, en datos en buen estado, un paso que elimine valores nulos nunca debería eliminar más del 30 % de las filas. Este control detecta cambios inesperados en la calidad de los datos de las fuentes ascendentes.

Compruebe mediante una aserción que todas las columnas de salida esperadas existan después de cada función de transformación. Si un paso de renombrado utiliza accidentalmente la clave incorrecta, falta la columna resultante y el error solo aparece mucho después, cuando otro paso intenta utilizarla. Una aserción justo después de la transformación detecta el problema en su origen, en lugar de tres pasos más adelante mediante un KeyError confuso.

Después de calcular una columna de ingresos, compruebe mediante una aserción que sus valores no sean negativos. Después de analizar las fechas, compruebe que se encuentren dentro del intervalo de años esperado. Después de codificar las categorías, compruebe que no aparezcan códigos inesperados. Cada aserción es un contrato de datos que documenta el comportamiento esperado y detecta las infracciones de forma temprana. Escríbalas como aserciones en lugar de usar instrucciones de impresión, para que generen errores durante las ejecuciones automatizadas del pipeline.

Un error común en los datos es una combinación de muchos a muchos que multiplica accidentalmente las filas. Después de cada pd.merge(), compruebe mediante una aserción que el número de filas sea el esperado; normalmente, que no supere el número de filas del DataFrame izquierdo en una combinación izquierda. Compruebe también que la columna clave sea única si debería serlo, para detectar de inmediato las combinaciones cruzadas accidentales.

Ciertas columnas nunca deben contener valores nulos en ningún punto del pipeline. Compruebe mediante una aserción df['key_col'].notna().all() después de cada paso que pudiera introducir valores nulos accidentalmente, como una combinación que no logra encontrar coincidencias para algunas filas (y produce NaN en las columnas combinadas) o una llamada a map() que devuelve NaN para valores sin correspondencia. Estas aserciones deben ser las dos últimas líneas de cada función de transformación que trabaje con esas columnas.

Escriba pruebas unitarias para cada función del pipeline utilizando DataFrames pequeños y creados manualmente que aíslen la lógica que se está probando. Cada prueba debe: preparar una entrada mínima, llamar a la función y comprobar mediante aserciones las propiedades de la salida. Usar el assert integrado de Python es suficiente para pipelines sencillos; en proyectos más grandes, utilice pytest para ejecutar automáticamente todas las pruebas antes del despliegue.

Las buenas pruebas no cubren únicamente el caso habitual, sino también casos límite: una entrada con todos sus valores nulos, un DataFrame vacío, un DataFrame de una sola fila y columnas con valores extremos. Un DataFrame vacío debe devolver otro DataFrame vacío, no generar un error. Un DataFrame con una sola fila debe calcular el resultado correcto. Pruebe explícitamente estos casos para garantizar que el pipeline los gestione correctamente en producción cuando lleguen datos inusuales.

Además de las pruebas unitarias de funciones individuales, escriba una prueba de integración que ejecute el pipeline completo con una muestra pequeña y representativa de datos reales. Compruebe mediante aserciones que la salida tenga el número esperado de columnas, que la columna clave sea única y que los ingresos totales se encuentren dentro de un intervalo plausible. Esta comprobación de extremo a extremo detecta errores en la interacción entre pasos que las pruebas unitarias no revelan.

A medida que crezca el pipeline, reúna todas las pruebas en un directorio tests/ y ejecútelas con pytest desde la línea de comandos. Un archivo conftest.py puede crear fixtures compartidos, como DataFrames de ejemplo. Integre pytest en su pipeline de CI/CD para que cada cambio de código ejecute automáticamente todas las pruebas antes del despliegue. Una prueba fallida bloquea el despliegue y evita que el código defectuoso llegue a producción.

Cada aserción del pipeline es tanto un control como un elemento de documentación: expresa, en una forma que la máquina puede interpretar, cómo deben ser los datos en ese punto. Cuando un analista nuevo se incorpora al proyecto y lee el código del pipeline, las aserciones le muestran los contratos de datos sin necesidad de consultar un documento de especificaciones independiente. Trate cada aserción como trataría un comentario: haga que el mensaje sea lo bastante descriptivo para comprender la regla de negocio que aplica.

Compruebe su comprensión de los conceptos de análisis de datos de esta lección.

En esta lección ha aprendido a: incorporar comprobaciones del número de filas, la existencia de columnas, el rango de valores y los valores nulos como aserciones dentro del pipeline, escribir pruebas unitarias para funciones de transformación individuales con cobertura de casos límite y ejecutar pruebas de integración y tratar las aserciones como documentación viva de los contratos de datos. A continuación, exploraremos cómo programar y registrar las ejecuciones del pipeline para automatizar su ejecución diaria.