Encontrar los NaN ocultos en su tabla

Los conjuntos de datos reales están llenos de vacíos. Antes de cualquier análisis, debe saber dónde se esconden los valores ausentes, porque alteran silenciosamente todos los resultados en los que confía. 🔎

En pandas, una celda vacía suele aparecer como NaN, abreviatura de Not a Number. Es el indicador estándar de un valor que simplemente no está presente.

Un error común es tratar NaN como si fuera 0. Cero es una medición real, mientras que NaN significa que no hay ninguna medición. Representan situaciones muy distintas.

El método isna() devuelve una tabla de True y False, una marca por celda, que indica exactamente dónde faltan valores en todo el DataFrame.

Encadene isna().sum() para contar de una vez las celdas ausentes de cada columna. True cuenta como 1, por lo que cada total indica cuántos vacíos hay en esa columna.

¿Quiere un total general de todos los vacíos de la tabla? Añada otro sum() para convertir los recuentos por columna en un solo número.

Los recuentos sin contexto pueden inducir a error en tablas grandes. Divida entre len(df) para ver qué proporción de cada columna está ausente y decidir qué tan importante es actuar.

Lo contrario de isna es notna(), que marca las celdas que sí contienen un valor. Resulta útil cuando quiere conservar solo las filas completas.

Un mapa de calor de isna() convierte los vacíos en una imagen, de modo que los grupos de filas o columnas ausentes destacan mucho más rápido que al revisar números.

Para inspeccionar las filas problemáticas, filtre aquellas en las que falte cualquier valor. Así verá exactamente qué registros requieren atención.

Mapear los valores ausentes antes de corregirlos le ayuda a mantener la objetividad. Decidirá cómo tratar los vacíos basándose en evidencia, no en una suposición sobre su gravedad.

Ahora puede encontrar datos ausentes con isna, contarlos por columna, expresarlos como porcentaje y representarlos visualmente. Ver los vacíos es el primer paso para corregirlos.