Significatività statistica

I tassi di conversione oscillano per effetto del caso. Se la variante B supera A del 2% su un campione ridotto, questa differenza potrebbe essere puro rumore.

La significatività statistica indica quanto è probabile che la differenza osservata sia reale anziché dovuta al caso. Senza di essa, rischia di rendere effettive modifiche che non producono alcun risultato.

Ogni misurazione presenta una certa variabilità. Se lancia una moneta equa dieci volte, raramente otterrà esattamente cinque volte testa.

Lo stesso vale per le conversioni. Un test breve può indicare falsamente un vincitore semplicemente perché una variante ha avuto una serie fortunata. La significatività separa il segnale reale da questo rumore.

Il p-value stima la probabilità di osservare il risultato ottenuto, o uno ancora più estremo, se tra le varianti non esistesse realmente alcuna differenza.

Un p-value basso significa che il risultato sarebbe improbabile se fosse dovuto soltanto al caso. I marketer considerano comunemente un p inferiore a 0,05 la soglia per dichiarare la significatività.

La maggior parte degli strumenti per i test A/B mostra un livello di confidenza anziché un p-value puro. Un livello di confidenza del 95% corrisponde a un p inferiore a 0,05.

Significa che, se non fosse realmente cambiato nulla, osserverebbe una differenza di questa entità solo circa il 5% delle volte. Un livello di confidenza più alto richiede più dati.

La potenza è la probabilità che il test rilevi un effetto reale quando questo esiste. Una potenza bassa fa sì che i veri vincitori passino inosservati.

L'obiettivo standard è una potenza dell'80%. I test con potenza insufficiente sprecano traffico e producono risultati inconcludenti, inducendo a volte a dichiarare un vincitore troppo presto.

L'effetto minimo rilevabile, o MDE, è il miglioramento più piccolo che si desidera che il test riesca a rilevare in modo affidabile.

Rilevare un incremento minimo dell'1% richiede molto più traffico che rilevare un incremento del 10%. Imposti un MDE realistico prima del lancio: determina direttamente la dimensione del campione necessaria.

Prima di iniziare, inserisca il tasso di base, l'MDE target, il livello di confidenza e la potenza in un calcolatore della dimensione del campione. Lo strumento le dirà quanti visitatori sono necessari per ciascuna variante.

Si attenga a quel numero. Terminare prima perché la variante B «sembra vincente» è il modo più comune con cui i team si ingannano.

Controllare ripetutamente i risultati e interrompere il test nel momento in cui compare la significatività aumenta drasticamente il tasso di falsi positivi.

Ogni controllo è un'ulteriore occasione perché il rumore casuale superi la soglia. Decida in anticipo la dimensione del campione e la durata, quindi aspetti. Non interrompa il test al primo risultato positivo.

Il comportamento varia nei giorni feriali, nei fine settimana e nei giorni di paga. Un test eseguito da lunedì a mercoledì ignora completamente gli acquirenti del fine settimana.

Esegua il test per almeno una o due settimane complete, così ogni variante vedrà un mix rappresentativo di traffico. La dimensione del campione e il tempo sono entrambi requisiti per ottenere un risultato valido.

Un risultato può essere statisticamente significativo, ma avere un effetto troppo piccolo per essere rilevante per l'azienda. Con un traffico enorme, anche un incremento dello 0,1% può raggiungere una confidenza del 95%.

Abbini sempre la significatività alla dimensione dell'effetto e al suo valore pratico. Si chieda: questo incremento è abbastanza grande da giustificare la modifica?

L'intervallo di confidenza mostra l'intervallo plausibile del vero effetto. Una stima puntuale di +8% con un intervallo da -1% a +17% è poco solida.

Preferisca risultati in cui l'intero intervallo rimane positivo. Un intervallo ampio che attraversa lo zero indica che non può essere certo che il cambiamento sia utile.

Verifichi la Sua comprensione della significatività.

La significatività distingue gli effetti reali dal rumore casuale. Punti a un livello di confidenza del 95% e a una potenza statistica dell'80%, definisca un MDE e calcoli la dimensione del campione prima di iniziare.

Eviti di controllare i risultati in anticipo, esegua cicli aziendali completi e valuti i risultati in base all'ampiezza dell'effetto e all'intervallo di confidenza, non alla sola significatività.