Testa vad som konverterar

Ett bra test börjar med en tydlig hypotes, inte med slumpmässigt experimenterande. Ange vad ni ska ändra, vilket resultat ni förväntar er och varför.

Det gör testerna ändamålsenliga och gör resultatet meningsfullt oavsett om det vinner eller förlorar. Ett test som motbevisar en uppfattning är värdefull kunskap även när det förlorar.

För att veta vad som orsakade en förändring i resultaten bör ni variera ett element i taget: rubriken, knappfärgen eller formulärets längd, men inte alla tre samtidigt.

Om ni ändrar flera saker samtidigt kan ni fortfarande se att sidan blev bättre, men inte vilken förändring som gjorde det. Isolera variabeln för att lära er vad som fungerade.

Alla element är inte lika viktiga. Rubriken, det primära erbjudandet, CTA:n och huvudsektionen påverkar vanligtvis konverteringen mest, så testa dem först.

Små kosmetiska justeringar ger sällan stora utslag. Lägg testbudgeten där den möjliga vinsten är störst.

Ett test behöver tillräckligt många besökare och konverteringar innan resultatet säger något. Att utse en vinnare efter bara några få konverteringar är det vanligaste testmisstaget.

Bestäm den nödvändiga stickprovsstorleken innan ni börjar och låt testet pågå tillräckligt länge för att fånga den normala variationen från dag till dag, helst hela veckor.

Statistisk signifikans uppskattar sannolikheten att en skillnad är verklig och inte bara slumpmässigt brus. En vanlig gräns är 95 procents konfidens.

Under den nivån kan den till synes vinnande versionen helt enkelt ha haft tur. Signifikans skyddar er från att lansera en förändring som faktiskt inte hjälper.

Att stoppa ett test så fort version B ser ut att leda, så kallat tjuvkikande, ökar antalet falska vinster. Tidiga ledningar försvinner ofta när mer data kommer in.

Bestäm slutvillkoren i förväg och håll fast vid dem. Undvik också att köra tester under ovanliga perioder, som en rea inför en högtid, eftersom de förvränger det normala beteendet.

Ett multivariat test varierar flera element samtidigt och mäter varje kombination. Det kan visa hur elementen samverkar, men kräver betydligt mer trafik.

För de flesta sidor är sekventiella A/B-tester mer praktiska. Använd multivariat testning på sidor med mycket trafik, där ni har råd med den trafikmängd som krävs.

Ett test är bara användbart om ni agerar utifrån det. Lansera vinnaren, dokumentera vad ni lärde er och använd insikten i nästa hypotes.

CRO är en loop: undersök, formulera en hypotes, testa, lär och upprepa. Stadiga iterationer växer över tid till stora förbättringar.

Lyft mäter hur mycket en vinnande variant förbättrades jämfört med kontrollversionen, uttryckt som en procentandel av den ursprungliga graden. Det gör effekten tydlig för berörda parter.

Ange alltid lyftet tillsammans med konfidensnivån så att resultatet blir rättvisande. Ett stort lyft med låg konfidens är ännu inte tillräckligt för ett beslut.

Testning ersätter åsikter med belägg. A/B-tester delar upp trafiken för att jämföra versioner, utifrån en tydlig hypotes och en enda isolerad variabel, med fokus på de mest betydelsefulla elementen först.

Vänta tills urvalet är tillräckligt stort och statistisk signifikans har uppnåtts, undvik att tjuvkika och lansera sedan vinnaren innan ni itererar. Rapportera resultaten som ett lyft tillsammans med konfidensgrad.