Estadística descriptiva y pruebas de normalidad

La estadística descriptiva resume lo que contienen sus datos: media, mediana, desviación estándar y asimetría. La estadística inferencial formula afirmaciones sobre una población a partir de una muestra: pruebas de hipótesis, intervalos de confianza y valores p. El módulo scipy.stats de SciPy conecta ambos ámbitos: ofrece medidas descriptivas que van más allá de describe() de Pandas y el conjunto completo de pruebas de hipótesis clásicas. Combinar Pandas para manipular los datos y SciPy para realizar pruebas estadísticas es el flujo de trabajo estándar de la ciencia de datos en Python.

describe() de Pandas proporciona el recuento, la media, la desviación estándar, los valores mínimo y máximo, y los cuartiles. scipy.stats añade la asimetría (la falta de simetría de la distribución) y la curtosis (el peso de las colas). Una asimetría de 0 indica simetría; una asimetría positiva indica una cola derecha más larga (muchos valores pequeños y unos pocos muy grandes). Una curtosis de 3 (o de 0 en su forma de exceso) es normal; los valores superiores indican colas más pesadas, con más valores atípicos extremos de los que produciría una distribución normal.

La asimetría es importante para elegir pruebas estadísticas y transformaciones. Una distribución asimétrica hacia la derecha (sesgo positivo) tiene una media mayor que la mediana, como suele ocurrir con los datos de ingresos, los tiempos de reacción y los importes de ventas. Una distribución asimétrica hacia la izquierda (sesgo negativo) tiene una media menor que la mediana. Como regla general: |skewness| < 0.5 indica una distribución aproximadamente simétrica; 0.5–1.0, una asimetría moderada; > 1.0, una asimetría elevada que puede beneficiarse de una transformación logarítmica o de raíz cuadrada antes de aplicar pruebas que supongan normalidad.

Muchas pruebas estadísticas —pruebas t, ANOVA y correlación de Pearson— suponen que los datos (o los residuos) siguen una distribución normal (gaussiana). Si este supuesto no se cumple con muestras pequeñas, los valores p de la prueba pueden ser inexactos. La comprobación de normalidad verifica si se cumple este supuesto. En muestras grandes (n > 100), las pruebas de normalidad se vuelven muy sensibles y casi siempre rechazan la normalidad ante desviaciones triviales; en ese caso, confíe en el teorema del límite central (las medias muestrales son aproximadamente normales) en lugar de comprobar los datos sin procesar.

La prueba de Shapiro-Wilk (scipy.stats.shapiro(data)) es la prueba de normalidad más potente para tamaños de muestra de hasta aproximadamente 5.000. Devuelve un estadístico W y un valor p. Si p > 0.05, no se rechaza la normalidad: los datos son compatibles con una distribución normal. Si p ≤ 0.05, se rechaza la normalidad. Recuerde que no rechazar la normalidad no demuestra que los datos sean normales; solo significa que no hay evidencia suficiente para afirmar que no lo sean.

La prueba de Kolmogorov-Smirnov (K-S) (scipy.stats.kstest(data, 'norm', args)) comprueba si una muestra sigue una distribución especificada. A diferencia de Shapiro-Wilk, funciona con cualquier distribución (no solo la normal) y con muestras grandes. Calcula la diferencia máxima entre la función de distribución acumulada empírica de sus datos y la función de distribución acumulada teórica. Una variante, la prueba K-S de dos muestras (stats.ks_2samp(a, b)), comprueba si dos muestras proceden de la misma distribución; resulta útil para comparar distribuciones de antes y después.

El gráfico Q-Q (cuantil-cuantil) es una comprobación visual de la normalidad: representa los cuantiles de sus datos frente a los cuantiles de una distribución normal. Si los datos son normales, los puntos se sitúan sobre una línea diagonal recta. Las desviaciones respecto a la línea indican una falta de normalidad: las curvas en forma de S indican curtosis y los cambios de dirección indican asimetría. Las pruebas estadísticas indican si las desviaciones son significativas; los gráficos Q-Q muestran su naturaleza y ubicación. Use scipy.stats.probplot() para generar los datos del gráfico Q-Q.

El teorema del límite central (CLT) establece que la distribución de las medias muestrales se aproxima a la normalidad a medida que aumenta el tamaño de la muestra, independientemente de la distribución subyacente. Para n ≥ 30, la media muestral es aproximadamente normal incluso si las observaciones individuales presentan asimetría. Por eso las pruebas t son robustas con muestras grandes: se comprueba si la media difiere, y la media es aproximadamente normal aunque los datos sin procesar no lo sean. Para muestras pequeñas procedentes de poblaciones no normales, use pruebas no paramétricas.

En las pruebas de comparación de grupos (prueba t y ANOVA), la normalidad se requiere dentro de cada grupo, no en el conjunto de datos global. Al comprobar si las ventas difieren por región, evalúe por separado la normalidad de las ventas dentro de cada región. Una distribución que no sea normal en conjunto puede cumplir la normalidad dentro de los subgrupos. Aplique stats.shapiro() a cada grupo mediante groupby() de Pandas e itere sobre los grupos para comprobar el supuesto de forma sistemática.

Cuando no se cumple la normalidad, use pruebas no paramétricas que no hagan suposiciones sobre la distribución. La prueba U de Mann-Whitney (stats.mannwhitneyu) sustituye a la prueba t para muestras independientes; la prueba de rangos con signo de Wilcoxon (stats.wilcoxon) sustituye a la prueba t para muestras emparejadas; y la prueba de Kruskal-Wallis (stats.kruskal) sustituye al ANOVA de un factor. Estas pruebas utilizan rangos en lugar de valores sin procesar y son robustas frente a valores atípicos, pero tienen menor potencia estadística que sus equivalentes paramétricas cuando la normalidad sí se cumple.

En el análisis exploratorio de datos, a menudo debe comprobar la normalidad y la asimetría de todas las columnas numéricas a la vez. Combine select_dtypes de Pandas con un bucle por las columnas que llame a stats.shapiro() y stats.skew(). Cree un DataFrame de resumen con columnas para la asimetría, la curtosis y el valor p de Shapiro, para obtener una visión general de qué columnas no son normales y necesitan una transformación antes de crear modelos. Esto forma parte de una lista de comprobación sistemática de la calidad de los datos.

En esta lección ha aprendido que scipy.stats.skew() y kurtosis() describen la forma de una distribución más allá de lo que proporciona describe(), que scipy.stats.shapiro() comprueba la normalidad, donde p > 0.05 significa que no hay evidencia contra la normalidad, y que el teorema del límite central hace que las pruebas t sean robustas con muestras grandes incluso cuando los datos no son normales. A continuación aplicaremos pruebas de hipótesis con pruebas t para comparar medias de grupos.