Testen wat converteert

Een goede toets begint met een duidelijke hypothese, niet met willekeurig sleutelen. Geef aan wat je gaat veranderen, welk resultaat je verwacht en waarom.

Zo blijven toetsen doelgericht en is de uitkomst betekenisvol, of de toets nu slaagt of niet. Een toets die een overtuiging weerlegt, levert ook waardevolle kennis op.

Als je wilt weten waardoor een verandering in de resultaten is veroorzaakt, varieer je één onderdeel tegelijk: de kop, de kleur van de knop of de lengte van het formulier, maar niet alle drie tegelijk.

Door meerdere dingen tegelijk te veranderen, kun je nog steeds zien dat de pagina is verbeterd, maar niet welke verandering dat heeft veroorzaakt. Isoleer de variabele om de les te leren.

Niet alle onderdelen zijn even belangrijk. De kop, het belangrijkste aanbod, de CTA en het belangrijkste beeld hebben meestal de grootste invloed op de conversie. Toets deze dus eerst.

Kleine cosmetische aanpassingen veroorzaken zelden grote verschuivingen. Besteed je toetsingsbudget daar waar de mogelijke winst het grootst is.

Een toets heeft voldoende bezoekers en conversies nodig voordat de uitkomst iets betekent. Na slechts enkele conversies een winnaar aanwijzen is de meest voorkomende fout bij toetsen.

Bepaal de vereiste steekproefgrootte voordat je begint en laat de toets lang genoeg lopen om normale dagelijkse variatie vast te leggen, bij voorkeur volledige weken.

Statistische significantie schat de kans dat een verschil echt is en niet door toevallige ruis ontstaat. Een veelgebruikte drempel is 95% betrouwbaarheid.

Daaronder kan de schijnbare winnaar simpelweg geluk hebben gehad. Significantietoetsing beschermt je tegen het doorvoeren van een verandering die in werkelijkheid niet helpt.

Een toets stoppen zodra B voorligt, wat tussentijds kijken wordt genoemd, leidt tot meer valse overwinningen. Vroege voorsprongen verdwijnen vaak wanneer er meer gegevens binnenkomen.

Stel de voorwaarden voor het einde vooraf vast en houd je daaraan. Voer toetsen ook niet uit tijdens ongebruikelijke periodes, zoals een feestdagenactie, die normaal gedrag verstoren.

Bij een multivariate toets varieer je meerdere onderdelen tegelijk en meet je elke combinatie. Zo kun je ontdekken hoe onderdelen op elkaar inwerken, maar je hebt er veel meer verkeer voor nodig.

Voor de meeste pagina's zijn opeenvolgende A/B-toetsen praktischer. Bewaar multivariate toetsen voor pagina's met veel verkeer, waar je die hoeveelheid bezoekers kunt opbrengen.

Een toets is alleen nuttig als je ernaar handelt. Voer de winnaar door, leg vast wat je hebt geleerd en gebruik dat inzicht voor de volgende hypothese.

CRO is een cyclus: onderzoek, formuleer een hypothese, toets, leer en herhaal. Door voortdurend te herhalen, stapelen kleine verbeteringen zich na verloop van tijd op tot grote winst.

De stijging meet hoeveel een winnende variant ten opzichte van de controleversie is verbeterd, als percentage van het oorspronkelijke percentage. Zo communiceer je de impact duidelijk aan belanghebbenden.

Combineer een stijging altijd met het betrouwbaarheidsniveau, zodat de uitkomst eerlijk wordt weergegeven. Een grote stijging met lage betrouwbaarheid is nog geen basis voor een beslissing.

Testen vervangen meningen door bewijs. A/B-tests splitsen het verkeer om versies te vergelijken, op basis van een duidelijke hypothese en één geïsoleerde variabele. Begin daarbij met elementen die de grootste impact hebben.

Wacht tot je voldoende waarnemingen en statistische significantie hebt, kijk niet tussentijds naar de resultaten en publiceer daarna de winnaar voordat je verder verbetert. Rapporteer resultaten als stijging, gekoppeld aan een betrouwbaarheidsniveau.