Costruire un'ipotesi

Un'idea di test è solo un'intuizione. Un'ipotesi la trasforma in una previsione verificabile, con una motivazione e un risultato atteso.

«Proviamo un nuovo titolo» è un'idea. «Un titolo incentrato sui vantaggi aumenterà le registrazioni perché i visitatori non comprendono il valore» è un'ipotesi che può effettivamente valutare.

Un'ipotesi solida ha tre componenti: la modifica, l'effetto atteso e la metrica che lo dimostra. Una frase riutilizzabile aiuta tutti a mantenere il rigore.

Compili ogni parentesi con un elemento specifico e misurabile prima di creare la variante.

Le ipotesi migliori includono il ragionamento alla base della modifica. Il «perché» la obbliga a collegare il test al comportamento reale degli utenti.

Estenda il modello: «Riteniamo che [modifica] provocherà [effetto] perché [insight], misurato tramite [metrica].» In questo modo anche i test falliti diventano istruttivi, non solo deludenti.

Immagini che i dati di un sondaggio mostrino che gli utenti non si fidano dei suoi prezzi. Decide di aggiungere una garanzia.

Seguendo il modello, l'ipotesi viene da sé. Noti quanto siano specifici la modifica, l'effetto e la metrica.

Metriche vaghe come «coinvolgimento» o «prestazioni migliori» non possono essere misurate in modo chiaro. Scelga una sola metrica primaria direttamente collegata alla modifica.

Se la modifica riguarda la pagina di checkout, la metrica primaria è solitamente il completamento del checkout o il tasso di acquisto, non le visualizzazioni di pagina o il tempo trascorso sul sito.

Monitori una metrica primaria per dichiarare un vincitore, insieme a metriche di controllo per rilevare eventuali effetti dannosi imprevisti.

Se la riduzione di un modulo aumenta le registrazioni ma peggiora drasticamente la qualità dei lead a valle, la metrica di controllo ha rilevato una falsa vittoria. Definisca entrambe prima del lancio.

Un'ipotesi verificabile prevede una direzione (aumento o diminuzione) e, idealmente, un ordine di grandezza approssimativo. «La conversione migliorerà» è poco preciso; «la conversione aumenterà di almeno il 10%» è molto più chiaro.

Un effetto atteso quantificato aiuta anche a pianificare la quantità di traffico necessaria per il test.

Ogni ipotesi dovrebbe citare una fonte: dati di analytics, mappe di calore, sondaggi, richieste all'assistenza o test precedenti.

Se non può indicare dati concreti a sostegno dell'efficacia di una modifica, l'idea è una supposizione. Le ipotesi fondate sui dati hanno più probabilità di successo e insegnano di più anche quando falliscono.

Una buona ipotesi può essere dimostrata falsa. Se nessun risultato possibile potrebbe farle cambiare idea, si tratta di un'opinione, non di un'ipotesi.

Decida in anticipo quale risultato la porterebbe a rifiutare la modifica. In questo modo eviterà di giustificare a posteriori un risultato nullo o negativo.

Scriva l'ipotesi completa, la metrica primaria, le metriche di controllo e l'effetto atteso prima che il test diventi attivo. Fissi questi elementi per impedire che i risultati vengano reinterpretati in seguito.

La preregistrazione impedisce di selezionare solo i risultati favorevoli e mantiene credibile il programma di sperimentazione.

Confronti due versioni della stessa idea. La prima non è verificabile; la seconda è specifica, motivata e misurabile.

Abitui il team a trasformare ogni ipotesi debole in una versione solida prima di iniziare qualsiasi attività sulla variante.

Quale opzione rappresenta l'ipotesi più solida?

Trasformi le idee in previsioni con il modello: riteniamo che [modifica] provocherà [effetto] perché [insight], misurato tramite [metrica].

Scelga una metrica primaria specifica e aggiunga metriche di controllo, preveda direzione e dimensione dell'effetto, fondi l'ipotesi sui dati, la mantenga falsificabile e la documenti prima del lancio.