Lendo os resultados

Quando o teste terminar, observe primeiro a única métrica principal que foi registrada previamente. Esse número determina o vencedor.

Resista à tentação de procurar sinais positivos em métricas secundárias. Escolher um resultado isolado favorável é como as equipes se convencem de que um teste sem efeito foi bem-sucedido.

Uma tabela de resultados organizada mostra visitantes, conversões, taxa de conversão, aumento relativo e confiança de cada variante.

Examine-a de cima para baixo. Confirme que os tamanhos das amostras estão equilibrados e que o nível de confiança atende ao seu limite antes de comemorar qualquer aumento.

Todo teste termina com um vencedor, um perdedor ou um resultado inconclusivo. Os três são valiosos.

Um vencedor informa o que lançar. Um perdedor informa o que evitar. Um resultado inconclusivo indica que o efeito, se existiu, foi pequeno demais para ser detectado com o seu tráfego.

Um resultado sem efeito não significa que o teste foi desperdiçado. Ele descarta uma hipótese e evita que você lance algo que não faz diferença.

Trate os testes inconclusivos como evidência. Sua mudança pode ter sido sutil demais, seu tráfego pode ter sido baixo demais ou sua percepção pode ter estado errada. Cada resultado ensina onde procurar em seguida.

Antes de lançar um vencedor, confirme que as métricas de proteção não se moveram na direção errada. Um aumento nas inscrições significa pouco se os reembolsos ou o cancelamento de clientes dispararam.

Um verdadeiro sucesso melhora a métrica principal sem prejudicar a saúde do negócio nas etapas seguintes.

Um resultado geral sem efeito pode esconder efeitos opostos em segmentos diferentes. A variante pode vencer em dispositivos móveis, mas perder em computadores, resultando em zero no total.

Divida os resultados por dispositivo, fonte de tráfego ou usuários novos e recorrentes, mas trate as descobertas de segmentos como novas hipóteses, não como vitórias confirmadas.

Dividir os dados em muitos segmentos aumenta sua chance de encontrar um falso vencedor em algum lugar. Teste grupos suficientes e um deles parecerá significativo por acaso.

Se um segmento parecer promissor, valide-o com um teste novo e dedicado antes de agir com base nele. Nunca lance algo com base apenas em uma divisão feita posteriormente.

Traduza o aumento percentual para termos de negócio. Um aumento relativo de 17% parece ótimo, mas as partes interessadas se importam com a receita.

Multiplique a nova taxa de conversão pelo seu tráfego e pelo valor médio para projetar o impacto anual. Esse número orienta a decisão de lançamento e o seu roteiro.

Registre a hipótese, o resultado, a confiança, o tamanho do efeito e a decisão em um registro compartilhado. Os testes anteriores formam uma base de conhecimento que evita repetir caminhos sem saída.

Compartilhe tanto as vitórias quanto as derrotas com a equipe para que os aprendizados se acumulem em todo o programa de experimentação.

Vencer em um teste não garante o mesmo aumento em produção. Depois de disponibilizar a mudança para 100% dos usuários, monitore a métrica por algumas semanas.

Efeitos de novidade, sazonalidade e erros de implementação podem reduzir um resultado. Confirme que a vitória se mantém antes de contabilizar a receita projetada.

A otimização é um ciclo, não uma ação isolada. Todo resultado, vitória ou derrota, deve gerar a próxima hipótese.

Um selo vencedor de redução de risco pode inspirar o teste de uma garantia mais forte. Um layout perdedor aponta para outra direção. A experimentação contínua acumula pequenos ganhos até transformá-los em ganhos grandes.

Avalie os testes pela métrica principal registrada previamente e verifique as métricas de proteção antes de lançar. Resultados inconclusivos ainda geram aprendizado.

Segmente com cuidado, sem buscar resultados convenientes, traduza os aumentos em impacto para o negócio, documente cada teste, verifique as vitórias em produção e use cada resultado no próximo experimento.