Tolke resultater

Alle tester ender som en vinner, en taper eller uavklarte. Alle tre utfallene er verdifulle.

En vinner forteller hva som skal lanseres. En taper forteller hva som bør unngås. Et uavklart resultat forteller at effekten, hvis den finnes, var for liten til å oppdages med den tilgjengelige trafikken.

Et resultat uten endring betyr ikke at testen var bortkastet. Det utelukker en hypotese og hindrer lansering av noe som ikke gjør noen forskjell.

Se på uavklarte tester som dokumentasjon. Endringen var kanskje for subtil, trafikken for liten, eller innsikten feil. Hvert utfall viser hvor det bør letes videre.

Før en vinner lanseres, må De bekrefte at guardrail-metrikkene ikke har utviklet seg i feil retning. En økning i registreringer betyr lite hvis antallet refusjoner eller frafallet har skutt i været.

En reell seier forbedrer primærmetrikken uten å skade virksomhetens helse lenger ned i kundereisen.

Et samlet resultat uten endring kan skjule motsatte effekter i ulike segmenter. Varianten kan vinne på mobil, men tape på datamaskin, slik at totalresultatet blir null.

Bryt resultatene ned etter enhet, trafikkilde eller nye kontra tilbakevendende brukere, men se på funn i segmenter som nye hypoteser, ikke som bekreftede seire.

Når data deles opp i mange segmenter, øker sjansen for å finne en falsk vinner et sted. Test tilstrekkelig mange undergrupper, så vil én av dem se signifikant ut ved ren tilfeldighet.

Hvis et segment ser lovende ut, må De bekrefte funnet med en ny, målrettet test før De handler på det. Lanser aldri noe basert på en segmentering gjort i etterkant alene.

Oversett den prosentvise økningen til forretningsmessige termer. En relativ økning på 17 % høres flott ut, men interessenter er opptatt av inntekter.

Multipliser den nye konverteringsraten med trafikkmengden og gjennomsnittsverdien for å anslå den årlige effekten. Dette tallet styrer lanseringsbeslutningen og veikartet.

Registrer hypotesen, resultatet, konfidensen, effektstørrelsen og beslutningen i en delt logg. Tidligere tester utgjør en kunnskapsbase som hindrer at blindspor gjentas.

Del både seire og tap med teamet, slik at innsikten bygger seg opp i hele eksperimenteringsprogrammet.

At noe vinner i en test, garanterer ikke den samme økningen i produksjon. Etter utrulling til 100 % bør De overvåke metrikken i et par uker.

Nyhetseffekter, sesongvariasjoner og implementasjonsfeil kan svekke resultatet. Bekreft at seieren holder før De regner de forventede inntektene som sikre.

Optimalisering er en løkke, ikke en engangsoppgave. Alle resultater, både seire og tap, bør danne grunnlag for den neste hypotesen.

Et vinnende merke som reduserer kjøpsrisikoen, kan inspirere til testing av en sterkere garanti. Et layout som taper, peker i en annen retning. Kontinuerlig eksperimentering bygger små forbedringer opp til store resultater.

Vurder tester ut fra den forhåndsregistrerte primærmetrikken, og kontroller guardrail-metrikkene før lansering. Uavklarte resultater gir fortsatt læring.

Segmenter med omtanke uten å drive segmentjakt, oversett økninger til forretningsmessig effekt, dokumenter hver test, bekreft seire i produksjon, og bruk hvert resultat i neste eksperiment.