Læsning af resultater

Enhver undersøgelse ender med en vinder, en taber eller et uafklaret resultat. Alle tre resultater er værdifulde.

En vinder fortæller dig, hvad du skal lancere. En taber fortæller dig, hvad du skal undgå. Et uafklaret resultat fortæller dig, at effekten, hvis der overhovedet var en, var for lille til at blive opdaget med din trafik.

Et resultat uden ændring er ikke en spildt undersøgelse. Det udelukker en hypotese og sparer dig for at lancere noget, der ikke gør nogen forskel.

Betragt uafklarede undersøgelser som dokumentation. Enten var din ændring for subtil, din trafik for lav, eller din indsigt forkert. Hver mulighed lærer dig, hvor du skal lede nu.

Før du lancerer en vinder, skal du bekræfte, at sikkerhedsmålingerne ikke har udviklet sig i den forkerte retning. En stigning i tilmeldinger betyder ikke meget, hvis antallet af tilbagebetalinger eller kundefrafald er steget kraftigt.

En reel sejr forbedrer det primære måletal uden at skade forretningens sundhed i de efterfølgende led.

Et samlet resultat uden ændring kan skjule modsatrettede effekter i forskellige segmenter. Varianten kan vinde på mobilen, men tabe på computere, så det samlede resultat bliver nul.

Opdel resultaterne efter enhed, trafikkilde eller nye kontra tilbagevendende brugere, men betragt resultater fra segmenter som nye hypoteser – ikke som bekræftede sejre.

Når du opdeler data i mange segmenter, øger du sandsynligheden for at finde en falsk vinder et sted. Undersøg tilstrækkeligt mange undergrupper, og én af dem vil se signifikant ud ved et tilfælde.

Hvis et segment ser lovende ud, skal du validere det med en ny, særskilt undersøgelse, før du handler på det. Lancér aldrig noget på baggrund af en efterfølgende segmentering alene.

Omsæt den procentvise forbedring til forretningsmæssige termer. En relativ forbedring på 17 % lyder fantastisk, men interessenterne går op i omsætning.

Gang den nye konverteringsrate med din trafik og den gennemsnitlige værdi for at beregne den forventede årlige effekt. Det tal afgør, om ændringen skal lanceres, og påvirker din køreplan.

Notér hypotesen, resultatet, konfidensen, effektstørrelsen og beslutningen i en fælles logbog. Tidligere undersøgelser er en vidensbase, der forhindrer dig i at gentage blindgyder.

Del både sejre og nederlag med teamet, så indsigterne bygger oven på hinanden i hele eksperimentprogrammet.

En sejr i en undersøgelse garanterer ikke den samme forbedring i produktionen. Når ændringen er rullet ud til alle, skal du overvåge målet i et par uger.

Nyhedseffekter, sæsonudsving og fejl i implementeringen kan udhule et resultat. Bekræft, at sejren holder, før du regner med den forventede omsætning.

Optimering er en løkke, ikke en engangsøvelse. Ethvert resultat, uanset om det er en sejr eller et nederlag, bør føre til den næste hypotese.

Et vindende mærke, der reducerer købsrisikoen, kan inspirere til at teste en stærkere garanti. Et tabende layout peger dig i en anden retning. Løbende eksperimenter samler små forbedringer til store resultater.

Vurder undersøgelser ud fra det primære måletal, der blev registreret på forhånd, og kontrollér sikkerhedsmålingerne, før du lancerer noget. Uafklarede resultater giver stadig læring.

Opdel resultaterne omhyggeligt uden at lede efter tilfældige segmentsejre, omsæt forbedringer til forretningsmæssig effekt, dokumentér hver undersøgelse, kontrollér sejre i produktionen, og brug hvert resultat i det næste eksperiment.