Lectura de resultados

Cuando termine la prueba, consulte primero la única métrica principal que preinscribió. Ese único número determina cuál es la variante ganadora.

Resista la tentación de buscar cualquier señal positiva en las métricas secundarias. Seleccionar un triunfo aislado es la forma en que los equipos se convencen de que una prueba sin cambios ha tenido éxito.

Una tabla de resultados clara muestra los visitantes, las conversiones, la tasa de conversión, el incremento relativo y el nivel de confianza de cada variante.

Revísela de arriba abajo. Confirme que los tamaños de muestra estén equilibrados y que el nivel de confianza alcance su umbral antes de celebrar cualquier incremento.

Toda prueba termina con una variante ganadora, perdedora o con un resultado no concluyente. Los tres resultados son valiosos.

Una variante ganadora le indica qué publicar. Una perdedora le indica qué evitar. Un resultado no concluyente indica que el efecto, si existió, era demasiado pequeño para detectarlo con su tráfico.

Un resultado sin cambios no significa que la prueba haya sido inútil. Descarta una hipótesis y evita que publique algo que no produce ningún efecto.

Considere las pruebas no concluyentes como evidencia. Puede que el cambio fuera demasiado sutil, que el tráfico fuera insuficiente o que su interpretación fuera errónea. Cada resultado le enseña dónde buscar a continuación.

Antes de publicar una variante ganadora, confirme que las métricas de control no hayan evolucionado en la dirección equivocada. Un incremento en los registros significa poco si se disparan las devoluciones o el abandono.

Una victoria real mejora la métrica principal sin perjudicar la salud del negocio en las etapas posteriores.

Un resultado general sin cambios puede ocultar efectos opuestos en distintos segmentos. La variante puede ganar en dispositivos móviles, pero perder en ordenadores de escritorio, por lo que el resultado neto sería cero.

Desglose los resultados por dispositivo, fuente de tráfico o usuarios nuevos frente a recurrentes, pero considere los hallazgos por segmento como hipótesis nuevas, no como victorias confirmadas.

Dividir los datos en muchos segmentos multiplica la probabilidad de encontrar una falsa variante ganadora en algún lugar. Si prueba suficientes subgrupos, alguno parecerá significativo por azar.

Si un segmento parece prometedor, valídelo con una prueba nueva y específica antes de actuar. No publique nunca basándose únicamente en una segmentación posterior al análisis.

Traduzca el incremento porcentual a términos empresariales. Un incremento relativo del 17 % parece excelente, pero a las partes interesadas les importan los ingresos.

Multiplique la nueva tasa de conversión por su tráfico y el valor medio para proyectar el impacto anual. Esa cifra determina la decisión de publicar y su hoja de ruta.

Registre la hipótesis, el resultado, el nivel de confianza, el tamaño del efecto y la decisión en un registro compartido. Las pruebas anteriores son una base de conocimiento que evita repetir caminos sin salida.

Comparta tanto los resultados positivos como los negativos con el equipo para que los aprendizajes se acumulen en todo el programa de experimentación.

Obtener un resultado ganador en una prueba no garantiza el mismo incremento en producción. Después de implementarlo al 100 %, supervise la métrica durante un par de semanas.

Los efectos de novedad, la estacionalidad y los errores de implementación pueden reducir un resultado. Confirme que la victoria se mantenga antes de contabilizar los ingresos previstos.

La optimización es un ciclo, no algo puntual. Cada resultado, positivo o negativo, debería dar lugar a la siguiente hipótesis.

Una insignia ganadora que reduce el riesgo podría inspirarle a probar una garantía más sólida. Un diseño perdedor le indica que debe buscar en otra dirección. La experimentación continua acumula pequeñas mejoras hasta convertirlas en grandes resultados.

Aplique lo que ha aprendido sobre la lectura de resultados.

Evalúe las pruebas según la métrica principal preinscrita y compruebe las métricas de control antes de publicar. Los resultados no concluyentes también proporcionan aprendizaje.

Segmente con cuidado sin buscar resultados a toda costa, traduzca los incrementos al impacto empresarial, documente cada prueba, verifique las victorias en producción y use cada resultado en el siguiente experimento.