Signification statistique

Les taux de conversion varient aléatoirement. Si la variante B devance A de 2 % sur un petit échantillon, cet écart peut être dû au pur hasard.

La significativité statistique indique dans quelle mesure la différence observée est probablement réelle plutôt que due au hasard. Sans elle, vous risquez de déployer des changements qui ne produisent aucun effet.

Toute mesure comporte une variation. Si vous lancez une pièce équilibrée dix fois, vous obtenez rarement exactement cinq fois pile.

Il en va de même pour les conversions. Un test court peut désigner un faux gagnant simplement parce qu'une variante a bénéficié d'une série favorable. La significativité permet de distinguer le véritable signal de ce bruit.

La p-valeur estime la probabilité d'observer votre résultat, ou un résultat plus extrême, s'il n'existait réellement aucune différence entre les variantes.

Une faible p-valeur signifie que le résultat serait improbable par le seul fait du hasard. Les spécialistes du marketing considèrent généralement une p-valeur inférieure à 0,05 comme le seuil de significativité.

La plupart des outils A/B indiquent un niveau de confiance plutôt qu'une p-valeur brute. Un niveau de confiance de 95 % correspond à une p-valeur inférieure à 0,05.

Cela signifie que, si rien n'avait réellement changé, vous n'observeriez une différence aussi importante qu'environ 5 % du temps. Un niveau de confiance plus élevé nécessite davantage de données.

La puissance est la probabilité que votre test détecte un effet réel lorsqu'il existe. Une faible puissance signifie que de vrais gagnants passent inaperçus.

La valeur cible standard est une puissance de 80 %. Les tests sous-dimensionnés gaspillent du trafic et produisent des résultats non concluants, ce qui peut vous inciter à les arrêter trop tôt.

L'effet minimal détectable, ou MDE, est l'amélioration la plus faible que vous souhaitez que le test détecte de manière fiable.

Détecter une amélioration minime de 1 % nécessite beaucoup plus de trafic que détecter une amélioration de 10 %. Définissez un MDE réaliste avant le lancement ; il détermine directement la taille d'échantillon requise.

Avant de lancer le test, saisissez votre taux de référence, le MDE ciblé, le niveau de confiance et la puissance dans un calculateur de taille d'échantillon. Celui-ci vous indique combien de visiteurs chaque variante doit recevoir.

Engagez-vous à atteindre ce nombre. Arrêter le test parce que B « semble gagner » est le moyen le plus courant pour une équipe de se tromper elle-même.

Vérifier les résultats à plusieurs reprises et arrêter le test dès que la significativité apparaît augmente considérablement votre taux de faux positifs.

Chaque observation est une occasion supplémentaire pour le bruit aléatoire de franchir le seuil. Décidez à l'avance de la taille de l'échantillon et de la durée, puis attendez. N'arrêtez pas le test au premier résultat positif.

Le comportement varie selon les jours de la semaine, les week-ends et les jours de paie. Un test exécuté du lundi au mercredi ne prend pas du tout en compte les acheteurs du week-end.

Exécutez le test pendant au moins une ou deux semaines complètes afin que chaque variante reçoive un mélange représentatif de trafic. La taille de l'échantillon et la durée sont toutes deux nécessaires à la validité du résultat.

Un résultat peut être statistiquement significatif tout en étant trop faible pour avoir de l'importance pour l'entreprise. Avec un trafic très élevé, même une amélioration de 0,1 % peut atteindre un niveau de confiance de 95 %.

Associez toujours la significativité à l'ampleur de l'effet et à sa valeur pratique. Demandez-vous : cette amélioration est-elle assez importante pour justifier le changement ?

L’intervalle de confiance indique la plage plausible de l’effet réel. Une estimation ponctuelle de +8 % avec un intervalle allant de -1 % à +17 % est peu fiable.

Privilégiez les résultats dont l’intervalle reste entièrement positif. Un intervalle large qui traverse zéro signifie que vous ne pouvez pas être certain que le changement soit bénéfique.

Vérifiez votre compréhension de la significativité.

La significativité permet de distinguer les effets réels du bruit aléatoire. Visez un niveau de confiance de 95 % et une puissance statistique de 80 %, définissez un MDE et calculez la taille de l’échantillon avant le lancement.

Évitez de consulter les résultats à l’avance, couvrez des cycles commerciaux complets et évaluez les résultats selon l’ampleur de l’effet et l’intervalle de confiance, plutôt que selon la significativité seule.