Análisis univariante

El análisis univariante examina una columna cada vez de forma aislada, ignorando las relaciones entre columnas. El objetivo es comprender la distribución de cada variable, detectar valores atípicos, identificar la asimetría y localizar problemas de calidad de los datos antes de comenzar cualquier modelado. El análisis univariante es diferente para las columnas numéricas y categóricas: las numéricas requieren gráficos de distribución y estadísticas resumidas, mientras que las categóricas requieren recuentos de frecuencias y proporciones.

Trace un histograma para cada columna numérica a fin de observar la forma de su distribución. Busque simetría frente a asimetría (una cola en un lado), modalidad (un pico frente a varios) y anomalías evidentes (valores en los extremos que parecen inverosímiles). En Pandas, df.hist() crea rápidamente una cuadrícula de histogramas para varias columnas sin necesidad de escribir un bucle, pero histplot de Seaborn ofrece un control más preciso para columnas individuales.

Para cada columna numérica, calcule y compare la media y la mediana. Cuando la media > mediana de forma significativa, la distribución presenta asimetría positiva (una cola derecha larga, habitual en los datos de ingresos y precios). Cuando la media < mediana, presenta asimetría negativa. Compruebe también la desviación estándar en relación con la media: una desviación estándar mayor que la media en una variable no negativa indica una variabilidad elevada o la presencia de valores atípicos. Calcule directamente la asimetría con df.skew().

Los diagramas de caja son la herramienta visual más rápida para detectar valores atípicos en columnas numéricas. Cualquier punto situado más allá de los bigotes (a 1.5×IQR de Q1 o Q3) se representa individualmente y se marca como posible valor atípico. Una columna con muchos puntos atípicos merece investigación: ¿son errores de introducción de datos, valores extremos legítimos o indicios de una distribución no normal? Los diagramas de caja también muestran la asimetría positiva o negativa mediante la posición asimétrica de la mediana dentro de la caja.

El método IQR (rango intercuartílico) define los valores atípicos como aquellos inferiores a Q1 - 1.5×IQR o superiores a Q3 + 1.5×IQR. Puede calcularlo mediante programación para contar e inspeccionar los valores atípicos de cada columna numérica sin generar gráficos. Esto resulta útil en canalizaciones automatizadas en las que necesita registrar recuentos de anomalías en lugar de generar gráficos. Decidir qué hacer con los valores atípicos —eliminarlos, limitar sus valores o marcarlos— debe ser una elección deliberada basada en el conocimiento del dominio.

Para cada columna categórica, llame a value_counts() para ver cómo se distribuyen las observaciones entre las categorías. Compruebe siempre lo siguiente: ¿domina alguna categoría individual (>80 %)? Esto provoca un desequilibrio de clases en las tareas de clasificación. ¿Hay categorías poco frecuentes con solo 1 o 2 observaciones (errores tipográficos o de introducción de datos)? ¿Coincide la distribución con las expectativas del negocio (por ejemplo, una columna «país» que muestra que la mayoría de los pedidos proceden de un país inesperado)?

Visualice los recuentos de valores categóricos como gráficos de barras mediante sns.countplot o llamando a value_counts().plot(kind='bar'). Ordene las barras de la más a la menos frecuente para que el lector pueda identificar inmediatamente las categorías dominantes. Para variables binarias (sí/no, hombre/mujer), un gráfico circular es aceptable, pero con más de 3 categorías los gráficos de barras siempre son más claros. Gire 45 grados las etiquetas de las marcas cuando los nombres de las categorías sean largos.

Las columnas numéricas con una fuerte asimetría positiva (asimetría > 1.5) suelen beneficiarse de una transformación logarítmica para hacerlas más simétricas. Esto es importante para muchas pruebas estadísticas y algunos algoritmos de ML que suponen normalidad. Aplique np.log1p() (log(x+1), seguro para valores cercanos a cero) y vuelva a comprobar la asimetría. Compare los histogramas antes y después para confirmar que la distribución se ha vuelto más parecida a una campana.

Una columna con varianza cero (todos sus valores son idénticos) no proporciona información a ningún modelo y debe eliminarse. Una columna con varianza cercana a cero (el 99 % de las filas tiene el mismo valor) es igualmente inútil. Calcule la varianza con df.var() y filtre. Compruebe también si hay columnas donde nunique() == len(df): probablemente sean columnas de ID que no deben utilizarse como características, aunque pueden resultar útiles como identificadores de filas.

En lugar de repetir manualmente el mismo análisis para cada columna, escriba un bucle que itere sobre todas las columnas numéricas e imprima las estadísticas clave en un formato estructurado. Así podrá revisar rápidamente decenas de columnas y marcar las que requieran atención. La salida puede guardarse en un archivo CSV como parte de un registro de auditoría de la canalización que las partes interesadas puedan revisar antes de utilizar los datos en el modelado.

Después de completar el análisis univariante, documente sus hallazgos de forma sistemática. Para cada columna, anote: la forma de la distribución (asimétrica, bimodal o aproximadamente normal), el porcentaje de valores ausentes y la estrategia de imputación prevista, el recuento de valores atípicos y la decisión correspondiente (limitar, eliminar o marcar), así como cualquier valor sospechoso que requiera aclaración del dominio. Esta documentación se convierte en el registro de calidad de los datos que guía los pasos de limpieza y evita que las decisiones se olviden o se cuestionen posteriormente.

En esta lección ha aprendido: los histogramas muestran la forma de la distribución de las columnas numéricas; los diagramas de caja y los límites basados en IQR identifican valores atípicos; y value_counts muestra la frecuencia de las categorías en las columnas categóricas. Automatizar estas comprobaciones en un bucle crea un informe de calidad reutilizable. A continuación exploraremos el análisis bivariante y de correlación: la comprensión de las relaciones entre pares de columnas.