Een hypothese opstellen

De beste hypotheses bevatten de reden achter de wijziging. Het woord "omdat" dwingt je om de test aan echt gebruikersgedrag te koppelen.

Breid het sjabloon uit: "We geloven dat [wijziging] leidt tot [effect] omdat [inzicht], gemeten met [metriek]." Zo leveren mislukte tests informatie op in plaats van alleen teleurstelling.

Stel dat enquêtegegevens laten zien dat gebruikers je prijsstelling niet vertrouwen. Je besluit een garantie toe te voegen.

De hypothese volgt vanzelf wanneer je het sjabloon gebruikt. Let erop hoe specifiek de wijziging, het effect en de metriek allemaal zijn.

Vage metrieken zoals "betrokkenheid" of "betere prestaties" kun je niet eenduidig meten. Kies één primaire metriek die rechtstreeks aan de wijziging is gekoppeld.

Als de wijziging op de afrekenpagina plaatsvindt, is de primaire metriek meestal het afronden van de betaling of het aankooppercentage, niet het aantal paginaweergaven of de tijd op de site.

Volg één primaire metriek om een winnaar aan te wijzen, plus vangnetmetrieken om onbedoelde schade op te merken.

Als het verkleinen van een formulier het aantal aanmeldingen verhoogt maar de kwaliteit van potentiële klanten verderop in het traject sterk verslechtert, heeft je vangnet een valse overwinning zichtbaar gemaakt. Definieer beide voordat je start.

Een toetsbare hypothese voorspelt een richting (omhoog of omlaag) en bij voorkeur ook een ruwe omvang. "De conversie verbetert" is zwak; "de conversie stijgt met minstens 10%" is scherp.

Een verwacht effect in cijfers helpt je ook te plannen hoeveel verkeer de test nodig heeft.

Elke hypothese moet een bron vermelden: analysegegevens, heatmaps, enquêtes, meldingen bij de klantenservice of eerdere tests.

Als je niet kunt aangeven welk bewijs verklaart waarom een wijziging werkt, is het idee een gok. Hypotheses die op bewijs zijn gebaseerd, winnen vaker en leren je meer wanneer ze verliezen.

Een goede hypothese kan worden weerlegd. Als geen enkel mogelijk resultaat je van gedachten zou doen veranderen, is het een mening en geen hypothese.

Bepaal vooraf welk resultaat ervoor zou zorgen dat je de wijziging verwerpt. Zo voorkom je dat je achteraf een vlak of negatief resultaat probeert goed te praten.

Schrijf de volledige hypothese, primaire metriek, vangnetmetrieken en het verwachte effect op voordat de test live gaat. Leg alles vast, zodat resultaten later niet anders kunnen worden geïnterpreteerd.

Vooraf registreren voorkomt dat je selectief resultaten kiest en houdt je experimenteerprogramma geloofwaardig.

Vergelijk twee versies van hetzelfde idee. De zwakke versie kun je niet testen; de sterke versie is specifiek, onderbouwd en meetbaar.

Leer je team om elke zwakke hypothese om te zetten in de sterke vorm voordat er aan de variant wordt gewerkt.

Maak van ideeën voorspellingen met het sjabloon: we geloven dat [wijziging] leidt tot [effect] omdat [inzicht], gemeten met [metriek].

Kies één specifieke primaire metriek plus vangnetmetrieken, voorspel richting en omvang, baseer de hypothese op bewijs, houd haar falsifieerbaar en documenteer haar voordat je start.