Interpolación e imputación avanzada

El rellenado hacia delante y hacia atrás propaga el valor conocido más cercano sin tener en cuenta la tendencia de los datos. La interpolación estima los valores que faltan suponiendo una transición suave entre los valores conocidos; por ejemplo, si la temperatura era de 20 °C el lunes y de 30 °C el viernes, la interpolación estima 25 °C para el miércoles. Esto produce imputaciones más realistas para señales que cambian gradualmente, como datos de sensores, precios o recuentos de población.

Pandas interpolate() admite varios métodos. Los más habituales son 'linear' (se distribuye por igual entre los valores conocidos), 'time' (tiene en cuenta los intervalos de tiempo desiguales cuando se establece un DatetimeIndex), 'polynomial' (ajusta una curva polinómica y requiere un argumento order) y 'spline' (polinomio por tramos suave). Linear es la opción predeterminada más segura; los métodos de orden superior pueden producir sobreajuste en intervalos pequeños.

Cuando su Series tiene un DatetimeIndex con intervalos de tiempo desiguales (por ejemplo, solo días laborables, sin fines de semana), method='time' interpola proporcionalmente al tiempo real transcurrido, no solo según la posición. Esto es más preciso que la interpolación lineal, que trata cada fila como si estuviera equidistante, independientemente del intervalo del calendario.

Al igual que ffill(), interpolate() acepta un parámetro limit para restringir cuántas posiciones NaN consecutivas se rellenan. Los valores NaN que superen el límite permanecen ausentes. Esto evita que la interpolación atraviese intervalos muy largos en los que el valor real podría ser cualquiera; los intervalos largos deben marcarse para revisarlos manualmente.

La imputación con media y mediana es sencilla, pero implica importantes compromisos. La media es sensible a los valores atípicos: unos pocos valores muy grandes la elevan, por lo que es una mala opción para rellenar una distribución sesgada hacia la derecha, como los ingresos o los precios de las viviendas. La mediana es resistente a los valores atípicos y resulta más adecuada para columnas sesgadas. Use la media únicamente cuando los datos sean aproximadamente simétricos y no contengan valores atípicos extremos.

La imputación por vecinos más cercanos (KNN) reemplaza un valor ausente por la media (o la media ponderada) de las k filas más similares, medida mediante la distancia entre las características no ausentes. Esta es una estrategia multivariante: utiliza información de otras columnas para determinar el valor de relleno, lo que resulta más preciso que la imputación con la media de una sola columna cuando las características están correlacionadas.

KNNImputer de Scikit-learn se integra directamente con arrays de NumPy y DataFrames de Pandas.

La imputación múltiple es el estándar de referencia para gestionar datos ausentes en la investigación estadística. IterativeImputer de Scikit-learn implementa un enfoque MICE (Multiple Imputation by Chained Equations): modela cada columna con valores ausentes como una función de las demás columnas y repite la imputación hasta que los valores convergen. Esto captura mejor las relaciones entre características que las estrategias basadas en una sola columna.

En lugar de ocultar que un valor ha sido imputado, es recomendable añadir una columna indicadora binaria que marque qué filas tenían valores ausentes antes de la imputación. Esto permite que los modelos posteriores aprendan del propio patrón de valores ausentes; a veces, que falte un valor es tan predictivo como el valor en sí.

Una regla fundamental en los pipelines de aprendizaje automático es calcular las estadísticas de imputación (media, mediana y moda) únicamente sobre el conjunto de entrenamiento y aplicar después esos mismos valores al conjunto de prueba. Calcular las estadísticas sobre el conjunto de datos completo antes de dividirlo provoca filtración de datos: el modelo ve indirectamente los datos de prueba durante el entrenamiento, lo que infla las estimaciones de rendimiento. Ajuste siempre los imputadores con los datos de entrenamiento y transforme tanto el conjunto de entrenamiento como el de prueba.

Después de aplicar varios métodos de imputación, compare su efecto representando gráficamente, uno junto a otro, la distribución de las columnas original e imputada. Una buena imputación debe conservar lo más fielmente posible la forma (media, varianza y asimetría) de la distribución original. La imputación con la media estrecha la distribución; KNN y MICE suelen conservarla mejor.

No existe una estrategia de imputación universalmente mejor; la elección adecuada depende del contexto. Use mean/median para casos univariantes sencillos con pocos valores ausentes. Use ffill/bfill para series temporales con tendencias estables. Use KNN o IterativeImputer cuando las características estén correlacionadas y desee aprovechar sus relaciones. Use constantes del dominio (por ejemplo, 0 para ausente o -1 para desconocido) cuando el valor que falta tenga un significado empresarial claro. Documente siempre su elección.

Compruebe su comprensión de la interpolación y la imputación avanzada.

En esta lección aprendió: interpolate() estima los valores ausentes suponiendo una tendencia suave entre los valores conocidos, method='time' gestiona intervalos desiguales en un DatetimeIndex y las estrategias avanzadas, como KNNImputer e IterativeImputer, utilizan otras columnas para determinar los valores de relleno. Añada siempre columnas indicadoras antes de la imputación y ajuste las estadísticas únicamente con el conjunto de entrenamiento para evitar la filtración de datos. A continuación, inspeccionaremos y convertiremos los tipos de datos de las columnas del DataFrame.