Test, hvad der konverterer

En god test begynder med en klar hypotese og ikke med tilfældige ændringer. Beskriv, hvad du vil ændre, hvilket resultat du forventer, og hvorfor.

Det holder testene målrettede og gør resultatet meningsfuldt, uanset om testen vinder eller taber. En test, der afkræfter en antagelse, er stadig værdifuld læring.

Hvis du vil vide, hvad der forårsagede en ændring i resultaterne, skal du variere ét element ad gangen: overskriften, knappens farve eller formularens længde, men ikke alle tre på én gang.

Hvis du ændrer flere ting samtidig, kan du stadig se, at siden blev forbedret, men ikke hvilken ændring der gjorde det. Isolér variablen for at lære af testen.

Alle elementer betyder ikke lige meget. Overskriften, det primære tilbud, CTA'en og hovedområdet påvirker normalt konverteringen mest, så test disse først.

Små kosmetiske ændringer giver sjældent store udsving. Brug dit testbudget dér, hvor potentialet for gevinsten er størst.

En test skal have nok besøgende og konverteringer, før resultatet betyder noget. Den mest almindelige fejl er at udpege en vinder efter blot nogle få konverteringer.

Beslut den nødvendige stikprøvestørrelse, før du begynder, og lad testen køre længe nok til at opfange den normale variation fra dag til dag, helst hele uger.

Statistisk signifikans anslår sandsynligheden for, at en forskel er reel og ikke blot tilfældig støj. En almindelig grænse er 95 % konfidens.

Under denne grænse kan den tilsyneladende vinder ganske enkelt skyldes held. Signifikans beskytter dig mod at indføre en ændring, der faktisk ikke hjælper.

Hvis du stopper en test, så snart B ser ud til at føre, skaber det såkaldte smugkig flere falske sejre. Tidlige føringer forsvinder ofte, når der kommer flere data.

Fastlæg slutbetingelserne på forhånd, og hold dig til dem. Undgå også at køre tests i usædvanlige perioder, for eksempel under et højtidstilbud, som forvrider den normale adfærd.

En multivariat test varierer flere elementer på én gang og måler alle kombinationer. Den kan afsløre, hvordan elementer påvirker hinanden, men den kræver langt mere trafik.

For de fleste sider er sekventielle A/B-tests mere praktiske. Gem multivariat testning til sider med meget trafik, hvor du har råd til den nødvendige datamængde.

En test er kun nyttig, hvis du handler på resultatet. Implementér vinderversionen, dokumentér det, du lærte, og brug indsigten i den næste hypotese.

CRO er en løkke: undersøg, formulér en hypotese, test, lær, gentag. Jævnlige gentagelser vokser over tid til store gevinster.

Løft måler, hvor meget en vinderrepræsentation forbedrede resultatet i forhold til kontrolversionen, angivet som en procentdel af den oprindelige rate. Det gør effekten tydelig for interessenter.

Sæt altid løftet sammen med konfidensniveauet, så resultatet bliver retvisende. Et stort løft med lav konfidens er endnu ikke et beslutningsgrundlag.

Test erstatter holdninger med dokumentation. A/B-tests opdeler trafikken, så versioner kan sammenlignes ud fra en klar hypotese og én isoleret variabel, med fokus på elementer med stor effekt først.

Vent på en tilstrækkelig stikprøvestørrelse og statistisk signifikans, undgå at smugkigge, og sæt derefter vinderen i drift, mens du gentager processen. Rapportér resultater som en forbedring sammen med konfidensniveauet.