Significación estadística

Las tasas de conversión fluctúan por azar. Si la variante B supera a la A en un 2 % con una muestra pequeña, esa diferencia podría ser puro ruido.

La significación estadística indica qué probabilidad hay de que la diferencia observada sea real y no fruto del azar. Sin ella, corre el riesgo de implementar cambios que no producen ningún efecto.

Toda medición presenta variaciones. Lance una moneda equilibrada diez veces y rara vez obtendrá exactamente cinco caras.

Lo mismo sucede con las conversiones. Una prueba breve puede mostrar un ganador falso simplemente porque una variante tuvo una racha de suerte. La significación separa la señal real de este ruido.

El valor p estima la probabilidad de observar su resultado, o uno aún más extremo, si realmente no hubiera ninguna diferencia entre las variantes.

Un valor p pequeño significa que el resultado sería poco probable por azar. Los profesionales del marketing suelen considerar que un valor p inferior a 0,05 es el umbral para declarar la significación.

La mayoría de las herramientas de pruebas A/B informan de un nivel de confianza en lugar de un valor p directo. Un nivel de confianza del 95 % corresponde a un valor p inferior a 0,05.

Esto significa que, si realmente no hubiera cambiado nada, observaría una diferencia de ese tamaño solo aproximadamente el 5 % de las veces. Un nivel de confianza más alto requiere más datos.

La potencia es la probabilidad de que la prueba detecte un efecto real cuando existe. Una potencia baja hace que los verdaderos ganadores pasen desapercibidos.

El objetivo estándar es una potencia del 80 %. Las pruebas con potencia insuficiente desperdician tráfico y producen resultados inconcluyentes que pueden llevarle a declararlas demasiado pronto.

El efecto mínimo detectable, o MDE, es la mejora más pequeña que desea que la prueba detecte de forma fiable.

Detectar un incremento pequeño del 1 % requiere mucho más tráfico que detectar uno del 10 %. Establezca un MDE realista antes del lanzamiento; este determina directamente el tamaño de muestra necesario.

Antes de ejecutar la prueba, introduzca su tasa de referencia, el MDE objetivo, el nivel de confianza y la potencia en una calculadora de tamaño de muestra. Esta le indicará cuántos visitantes necesita cada variante.

Respete esa cifra. Finalizar antes porque B «parece estar ganando» es la forma más habitual en que los equipos se engañan a sí mismos.

Comprobar los resultados repetidamente y detenerse en el momento en que aparece la significación aumenta drásticamente la tasa de falsos positivos.

Cada consulta es otra oportunidad para que el ruido aleatorio supere el umbral. Decida de antemano el tamaño de muestra y la duración, y espere. No se detenga ante el primer resultado positivo.

El comportamiento varía según el día laborable, el fin de semana y el día de cobro. Una prueba que se ejecuta de lunes a miércoles no incluye a los compradores del fin de semana.

Ejecútela durante al menos una o dos semanas completas para que cada variante reciba una combinación representativa de tráfico. Tanto el tamaño de muestra como el tiempo son requisitos para obtener un resultado válido.

Un resultado puede ser estadísticamente significativo y, aun así, ser demasiado pequeño para que le importe al negocio. Con un tráfico enorme, incluso un incremento del 0,1 % puede alcanzar un nivel de confianza del 95 %.

Relacione siempre la significación con el tamaño del efecto y su valor práctico. Pregúntese: ¿es este incremento lo bastante grande como para justificar el cambio?

El intervalo de confianza muestra el rango plausible del efecto real. Una estimación puntual de +8 % con un intervalo de -1 % a +17 % es poco fiable.

Prefiera los resultados cuyo intervalo completo se mantenga en valores positivos. Un intervalo amplio que cruza el cero significa que no puede tener la certeza de que el cambio ayude en absoluto.

La significación distingue los efectos reales del ruido aleatorio. Apunte a un nivel de confianza del 95 % y una potencia del 80 %, establezca un MDE y calcule el tamaño de la muestra antes de iniciar el experimento.

Evite consultar los resultados antes de tiempo, ejecute ciclos empresariales completos y evalúe los resultados por el tamaño del efecto y el intervalo de confianza, no solo por la significación.