Construindo uma hipótese

Uma ideia de teste é apenas uma suposição. Uma hipótese a transforma em uma previsão testável, com uma justificativa e um resultado esperado.

“Vamos experimentar um novo título” é uma ideia. “Um título focado nos benefícios aumentará os cadastros porque os visitantes não entendem o valor” é uma hipótese que você pode realmente avaliar.

Uma hipótese forte tem três partes: a mudança, o efeito esperado e a métrica que o comprova. Uma frase reutilizável ajuda todos a manterem o rigor.

Preencha cada colchete com algo específico e mensurável antes de criar a variante.

As melhores hipóteses incluem o raciocínio por trás da mudança. O “porque” obriga você a relacionar o teste ao comportamento real dos usuários.

Amplie o modelo: “Acreditamos que [mudança] causará [efeito] porque [percepção], medido por [métrica].” Assim, os testes malsucedidos se tornam informativos, e não apenas decepcionantes.

Imagine que os dados de uma pesquisa mostrem que os usuários não confiam nos seus preços. Você decide adicionar uma garantia.

A hipótese surge naturalmente quando você segue o modelo. Observe como a mudança, o efeito e a métrica são específicos.

Métricas vagas, como “engajamento” ou “melhor desempenho”, não podem ser medidas com clareza. Escolha uma única métrica principal que corresponda diretamente à mudança.

Se a mudança estiver na página de checkout, a métrica principal geralmente será a conclusão do checkout ou a taxa de compras, não as visualizações de página nem o tempo no site.

Acompanhe uma métrica principal para declarar um vencedor e métricas de proteção para identificar danos não intencionais.

Se reduzir um formulário aumentar os cadastros, mas prejudicar a qualidade dos contatos posteriormente, sua métrica de proteção terá identificado uma vitória falsa. Defina ambas antes do lançamento.

Uma hipótese testável prevê uma direção (para cima ou para baixo) e, idealmente, uma magnitude aproximada. “A conversão vai melhorar” é fraco; “a conversão aumentará pelo menos 10%” é preciso.

Um tamanho de efeito esperado também ajuda a planejar quanto tráfego o teste precisará.

Toda hipótese deve citar uma fonte: dados de análise, mapas de calor, pesquisas, chamados de suporte ou testes anteriores.

Se você não consegue apontar evidências que expliquem por que uma mudança funcionará, a ideia é apenas uma suposição. Hipóteses baseadas em evidências vencem com mais frequência e ensinam mais quando perdem.

Uma boa hipótese pode ser provada como falsa. Se nenhum resultado possível fizer você mudar de ideia, trata-se de uma opinião, não de uma hipótese.

Decida antecipadamente qual resultado faria você rejeitar a mudança. Isso evita que você racionalize um resultado estável ou negativo depois do fato.

Escreva a hipótese completa, a métrica principal, as métricas de proteção e o efeito esperado antes de o teste entrar em funcionamento. Registre tudo para que os resultados não possam ser reinterpretados posteriormente.

O pré-registro evita a seleção tendenciosa de resultados e mantém a credibilidade do seu programa de experimentação.

Compare duas versões da mesma ideia. A versão fraca não pode ser testada; a forte é específica, fundamentada e mensurável.

Treine sua equipe para transformar toda hipótese fraca em uma versão forte antes de iniciar qualquer trabalho na variante.

Qual opção é a hipótese mais forte?

Transforme ideias em previsões usando o modelo: acreditamos que [mudança] causará [efeito] porque [percepção], medido por [métrica].

Escolha uma métrica principal específica e métricas de proteção, preveja a direção e o tamanho, baseie-se em evidências, mantenha a hipótese refutável e documente-a antes do lançamento.