Testen, was konvertiert

Vermutungen darüber, was Conversions erzielt, sind häufig falsch. Tests ersetzen Spekulationen durch Belege, indem sie Versionen einer Seite anhand des tatsächlichen Verhaltens von Besuchern vergleichen.

Conversion-Rate-Optimierung, kurz CRO, ist die methodische Durchführung solcher Tests, um Ergebnisse kontinuierlich zu verbessern, statt aufgrund einer Vermutung neu zu gestalten.

Bei einem A/B-Test sehen die Hälfte Ihrer Besucher Version A und die andere Hälfte Version B. Anschließend messen Sie, welche Version besser konvertiert.

Da der Traffic zufällig und gleichzeitig aufgeteilt wird, wirken sich externe Faktoren auf beide Versionen gleichermaßen aus. Der Unterschied bei der Conversion-Rate weist auf die von Ihnen vorgenommene Änderung hin.

Ein guter Test beginnt mit einer klaren Hypothese und nicht mit zufälligem Herumprobieren. Legen Sie fest, was Sie ändern werden, welches Ergebnis Sie erwarten und warum.

So bleiben Tests zielgerichtet und das Ergebnis ist unabhängig davon aussagekräftig, ob der Test gewinnt oder verliert. Ein erfolgloser Test, der eine Annahme widerlegt, liefert trotzdem wertvolle Erkenntnisse.

Um zu wissen, wodurch sich ein Ergebnis verändert hat, variieren Sie jeweils nur ein Element: die Überschrift, die Farbe der Schaltfläche oder die Formularlänge – aber nicht alle drei gleichzeitig.

Wenn Sie mehrere Dinge gemeinsam ändern, erkennen Sie zwar möglicherweise, dass sich die Seite verbessert hat, aber nicht, welche Änderung dafür verantwortlich war. Isolieren Sie die Variable, um daraus zu lernen.

Nicht alle Elemente sind gleich wichtig. Die Überschrift, das Hauptangebot, der CTA und der Hero-Bereich beeinflussen die Conversion-Rate meist am stärksten. Testen Sie daher zuerst diese Elemente.

Kleine kosmetische Änderungen führen selten zu großen Ausschlägen. Setzen Sie Ihr Testbudget dort ein, wo der mögliche Gewinn am größten ist.

Ein Test benötigt genügend Besucher und Conversions, bevor sein Ergebnis aussagekräftig ist. Nach nur wenigen Conversions einen Gewinner zu bestimmen, ist der häufigste Fehler beim Testen.

Legen Sie die erforderliche Stichprobengröße vor Beginn fest und lassen Sie den Test lange genug laufen, um normale tägliche Schwankungen zu erfassen – idealerweise über vollständige Wochen.

Die statistische Signifikanz schätzt die Wahrscheinlichkeit ein, dass ein Unterschied real und nicht bloß zufälliges Rauschen ist. Ein gängiger Schwellenwert ist eine Konfidenz von 95 %.

Unterhalb dieses Werts könnte der scheinbare Gewinner einfach Glück gehabt haben. Signifikanz schützt Sie davor, eine Änderung auszurollen, die tatsächlich keinen Nutzen bringt.

Einen Test zu beenden, sobald B vorne liegt – das sogenannte Peeking –, führt zu mehr vermeintlichen Siegen. Frühe Vorsprünge verschwinden häufig, wenn weitere Daten hinzukommen.

Legen Sie die Endbedingungen im Voraus fest und halten Sie sich daran. Vermeiden Sie außerdem Tests in ungewöhnlichen Zeiträumen wie einem Feiertagsverkauf, da diese das normale Verhalten verzerren.

Bei einem multivariaten Test werden mehrere Elemente gleichzeitig variiert und alle Kombinationen gemessen. Dadurch können Sie erkennen, wie Elemente miteinander interagieren, allerdings benötigen Sie dafür deutlich mehr Traffic.

Für die meisten Seiten sind aufeinanderfolgende A/B-Tests praktikabler. Setzen Sie multivariate Tests auf Seiten mit hohem Traffic ein, auf denen Sie das nötige Volumen erreichen können.

Ein Test ist nur dann nützlich, wenn Sie auf sein Ergebnis reagieren. Setzen Sie den Gewinner um, dokumentieren Sie Ihre Erkenntnisse und lassen Sie diese in die nächste Hypothese einfließen.

CRO ist ein Kreislauf: recherchieren, Hypothesen bilden, testen, lernen, wiederholen. Kontinuierliche Iteration führt mit der Zeit zu großen Verbesserungen.

Der Lift misst, um wie viel eine erfolgreiche Variante die Kontrollversion verbessert hat – als Prozentsatz der ursprünglichen Rate. So lässt sich die Auswirkung gegenüber Stakeholdern klar vermitteln.

Stellen Sie dem Lift immer das Konfidenzniveau zur Seite, damit das Ergebnis aussagekräftig bleibt. Ein großer Lift bei geringer Konfidenz ist noch keine Entscheidungsgrundlage.

Testen Sie Ihr Verständnis von Conversion-Tests.

Tests ersetzen Vermutungen durch Belege. Bei A/B-Tests wird der Traffic aufgeteilt, um Versionen zu vergleichen. Dabei dient eine klare Hypothese als Grundlage, und zunächst werden einzelne wirkungsstarke Elemente isoliert betrachtet.

Warten Sie auf eine ausreichende Stichprobengröße und statistische Signifikanz, vermeiden Sie vorzeitige Einblicke und stellen Sie anschließend die Gewinnerversion live. Iterieren Sie danach weiter. Berichten Sie Ergebnisse als Steigerung zusammen mit der Konfidenz.