Significância estatística

As taxas de conversão variam por acaso. Se a variante B superar a A em 2% com uma amostra pequena, essa diferença pode ser apenas ruído.

A significância estatística indica a probabilidade de a diferença observada ser real, e não fruto do acaso. Sem ela, você corre o risco de publicar mudanças que não produzem efeito.

Toda medição apresenta variação. Jogue uma moeda equilibrada dez vezes e raramente obterá exatamente cinco caras.

O mesmo se aplica às conversões. Um teste curto pode indicar um vencedor falso simplesmente porque uma variante teve uma sequência de sorte. A significância separa o sinal genuíno desse ruído.

O valor de p estima a probabilidade de observar seu resultado, ou um resultado ainda mais extremo, caso realmente não houvesse diferença entre as variantes.

Um valor de p pequeno significa que seria improvável obter o resultado apenas por acaso. Profissionais de marketing geralmente consideram p abaixo de 0,05 o limite para declarar significância.

A maioria das ferramentas de teste A/B informa um nível de confiança em vez de um valor de p bruto. Um nível de confiança de 95% corresponde a p abaixo de 0,05.

Isso significa que, se nada tivesse realmente mudado, você observaria uma diferença desse tamanho em apenas cerca de 5% das vezes. Um nível de confiança maior exige mais dados.

O poder estatístico é a probabilidade de seu teste detectar um efeito real quando ele existe. Um poder baixo faz com que vencedores reais passem despercebidos.

A meta padrão é um poder de 80%. Testes com poder insuficiente desperdiçam tráfego e produzem resultados inconclusivos, o que pode levar você a encerrá-los cedo demais.

O efeito mínimo detectável, ou MDE, é a menor melhoria que você deseja que o teste identifique de forma confiável.

Detectar um aumento pequeno de 1% exige muito mais tráfego do que detectar um aumento de 10%. Defina um MDE realista antes do lançamento; ele determina diretamente o tamanho da amostra necessário.

Antes de executar o teste, insira a taxa de referência, o MDE desejado, o nível de confiança e o poder em uma calculadora de tamanho de amostra. Ela informa quantos visitantes cada variante precisa.

Comprometa-se com esse número. Encerrar cedo porque B “parece estar vencendo” é a maneira mais comum de as equipes se enganarem.

Verificar os resultados repetidamente e parar no momento em que a significância aparece aumenta drasticamente a taxa de falsos positivos.

Cada consulta é outra oportunidade para o ruído aleatório ultrapassar o limite. Decida o tamanho da amostra e a duração antecipadamente e aguarde. Não pare ao primeiro resultado positivo.

O comportamento varia entre dias úteis, fins de semana e dias de pagamento. Um teste executado de segunda a quarta-feira ignora completamente os compradores do fim de semana.

Execute-o por pelo menos uma ou duas semanas completas para que cada variante veja uma combinação representativa de tráfego. Tanto o tamanho da amostra quanto o tempo são necessários para validar um resultado.

Um resultado pode ser estatisticamente significativo e ainda ser pequeno demais para importar para o negócio. Com um tráfego enorme, até um aumento de 0,1% pode atingir 95% de confiança.

Sempre associe a significância ao tamanho do efeito e ao seu valor prático. Pergunte: esse aumento é grande o suficiente para justificar a mudança?

O intervalo de confiança mostra a faixa plausível do efeito verdadeiro. Uma estimativa pontual de +8%, com um intervalo de -1% a +17%, é pouco confiável.

Prefira resultados em que todo o intervalo permaneça positivo. Um intervalo amplo que atravesse o zero significa que não é possível ter certeza de que a mudança ajuda.

Teste sua compreensão sobre significância.

A significância separa efeitos reais do ruído aleatório. Busque 95% de confiança e 80% de poder estatístico, defina um MDE e calcule o tamanho da amostra antes de iniciar.

Evite consultar os resultados antes da hora, execute ciclos completos do negócio e avalie os resultados pelo tamanho do efeito e pelo intervalo de confiança, não apenas pela significância.