Detectar y tratar valores atípicos

Un valor atípico es un dato que difiere considerablemente del resto del conjunto de datos. Los valores atípicos pueden ser genuinos (un único cliente empresarial con un pedido de $500,000 en un conjunto de datos donde los pedidos tienen un valor medio de $100) o erróneos (un precio negativo o un error tipográfico que convirtió 120 en 12,000). El primer paso para tratar un valor atípico es decidir si el valor extremo es real y relevante o si se debe a un problema de calidad de datos; el tratamiento es muy diferente en cada caso.

Un diagrama de caja es la herramienta visual más rápida para detectar valores atípicos. La caja abarca el rango intercuartílico (IQR, Q1–Q3), los bigotes se extienden hasta 1.5× IQR y los puntos situados fuera de los bigotes se representan individualmente como posibles valores atípicos. Use df['revenue'].plot(kind='box') o sns.boxplot() de Seaborn para ver inmediatamente los valores atípicos sin calcular los umbrales manualmente.

El método de cercas del IQR calcula el rango intercuartílico y define los límites en Q1 − 1.5×IQR y Q3 + 1.5×IQR. Los valores que quedan fuera de estos límites se marcan como valores atípicos. El multiplicador 1.5 es el estándar para valores atípicos leves; use 3.0 únicamente para valores atípicos extremos. Este método es robusto: a diferencia de las puntuaciones Z, no presupone una distribución normal.

La puntuación Z mide cuántas desviaciones estándar separan un valor de la media. Convencionalmente, un valor con |Z| > 3 se considera atípico, lo que abarca el 99.7 % de los datos con distribución normal. Sin embargo, las puntuaciones Z son sensibles a los mismos valores atípicos que intentan detectar: los valores extremos desplazan la media y aumentan la desviación estándar, lo que puede ocultar otros valores atípicos.

No elimine nunca valores atípicos sin documentar y justificar la decisión. En su lugar, primero márquelos con una columna booleana (is_outlier) y, después, analice si comparten algún patrón (la misma región, el mismo producto o el mismo día). Si son genuinos, consérvelos y modélelos explícitamente. Si son errores, elimínelos y registre el número de eliminaciones en el historial de auditoría del pipeline.

Limitar (o winsorizar) sustituye los valores que superan los límites por el propio valor límite, en lugar de eliminar la fila. Así se conservan todas las filas del conjunto de datos y se reduce la distorsión que los valores atípicos provocan en los modelos lineales y en las estadísticas de resumen. Use clip(lower=, upper=) para aplicar los límites en una sola operación vectorizada.

Las distribuciones de ingresos y precios suelen estar sesgadas a la derecha, con una cola larga de valores elevados. Aplicar una transformación logarítmica con np.log1p() (el logaritmo del valor + 1 para gestionar los ceros) comprime la cola y hace que la distribución sea más simétrica. Muchos modelos estadísticos y visualizaciones presuponen normalidad, por lo que una transformación logarítmica de la columna de ingresos antes de modelar suele mejorar los resultados.

Al analizar muchas columnas a la vez, calcule mediante programación los límites de valores atípicos del IQR para todas las columnas numéricas. Recorra las columnas numéricas, calcule los límites y guarde los resultados en un diccionario. Así podrá generar un informe completo de valores atípicos en unas pocas líneas, en lugar de repetir manualmente el cálculo del IQR para cada columna.

Algunos puntos solo son atípicos en combinación: un unit_price de $10 es normal, una quantity de 500 es inusual pero no imposible, pero un unit_price de $10 junto con una quantity de 500 para un artículo de lujo resulta sospechoso. Los valores atípicos bivariantes aparecen como puntos aislados en los diagramas de dispersión. Use df.plot.scatter('quantity', 'unit_price') para detectar puntos alejados del grupo principal.

Toda decisión sobre valores atípicos debe registrarse: la columna, el método de detección, el umbral utilizado, el número de filas marcadas y el tratamiento aplicado (conservar, limitar o eliminar). Esta documentación protege al analista en revisiones de código y auditorías. Guárdela en un diccionario de registro de limpieza junto con el conjunto de datos de salida.

Después de marcar y tratar los valores atípicos, guarde el DataFrame actualizado. Mantenga la columna indicadora is_outlier en la salida para que los usuarios posteriores puedan optar por excluir las filas marcadas en análisis específicos. Guarde la versión limitada en una columna con un sufijo claro (_capped) junto a la original para que la limpieza sea reversible.

Compruebe su comprensión de los conceptos de análisis de datos de esta lección.

En esta lección ha aprendido a: detectar valores atípicos mediante cercas del IQR y puntuaciones Z, decidir si debe marcar, limitar o eliminar valores atípicos y aplicar transformaciones logarítmicas a distribuciones sesgadas a la derecha. A continuación exploraremos la estandarización de etiquetas de categorías inconsistentes en columnas de texto.