Ergebnisse auswerten

Wenn der Test endet, betrachten Sie zuerst die eine primäre Metrik, die Sie vorab registriert haben. Diese einzelne Zahl entscheidet über den Gewinner.

Widerstehen Sie dem Drang, in sekundären Metriken nach irgendeinem positiven Signal zu suchen. Ein zufälliger Erfolg ist genau der Grund, warum Teams sich einreden, ein unveränderter Test sei erfolgreich gewesen.

Eine übersichtliche Ergebnistabelle zeigt für jede Variante Besucher, Conversions, Conversion-Rate, relativen Lift und Konfidenz.

Gehen Sie sie von oben nach unten durch. Vergewissern Sie sich, dass die Stichprobengrößen ausgewogen sind und das Konfidenzniveau Ihren Schwellenwert erreicht, bevor Sie einen Lift feiern.

Jeder Test endet mit einem Gewinner, einem Verlierer oder einem nicht eindeutigen Ergebnis. Alle drei sind wertvoll.

Ein Gewinner zeigt Ihnen, was Sie ausrollen sollten. Ein Verlierer zeigt Ihnen, was Sie vermeiden sollten. Ein nicht eindeutiges Ergebnis zeigt, dass der Effekt – falls vorhanden – bei Ihrem Traffic zu klein war, um ihn zu erkennen.

Ein unverändertes Ergebnis bedeutet nicht, dass der Test vergeudet war. Es widerlegt eine Hypothese und bewahrt Sie davor, etwas auszurollen, das nichts bewirkt.

Betrachten Sie nicht eindeutige Tests als Belege. Entweder war Ihre Änderung zu subtil, Ihr Traffic zu gering oder Ihre Erkenntnis falsch. Jeder dieser Fälle zeigt Ihnen, wo Sie als Nächstes suchen sollten.

Bevor Sie einen Gewinner ausrollen, vergewissern Sie sich, dass sich die Guardrail-Metriken nicht in die falsche Richtung entwickelt haben. Ein Anstieg der Anmeldungen bedeutet wenig, wenn Rückerstattungen oder Abwanderung stark zugenommen haben.

Ein echter Erfolg verbessert die primäre Metrik, ohne die nachgelagerte Geschäftsentwicklung zu beeinträchtigen.

Ein insgesamt unverändertes Ergebnis kann gegensätzliche Effekte in verschiedenen Segmenten verbergen. Die Variante kann auf Mobilgeräten gewinnen, auf Desktopgeräten aber verlieren, sodass sich insgesamt null ergibt.

Schlüsseln Sie die Ergebnisse nach Gerät, Traffic-Quelle oder neuen und wiederkehrenden Nutzern auf. Behandeln Sie Erkenntnisse aus Segmenten jedoch als neue Hypothesen, nicht als bestätigte Erfolge.

Wenn Sie Daten in viele Segmente aufteilen, steigt die Wahrscheinlichkeit, irgendwo einen scheinbaren Gewinner zu finden. Testen Sie genügend Untergruppen, und eine davon wird rein zufällig signifikant wirken.

Wenn ein Segment vielversprechend aussieht, validieren Sie es mit einem neuen, gezielten Test, bevor Sie darauf reagieren. Rollen Sie niemals allein aufgrund einer nachträglich ausgewerteten Teilgruppe etwas aus.

Übersetzen Sie den prozentualen Lift in geschäftliche Größen. Ein relativer Lift von 17 % klingt großartig, aber Stakeholder interessieren sich für den Umsatz.

Multiplizieren Sie die neue Conversion-Rate mit Ihrem Traffic und dem durchschnittlichen Wert, um die jährliche Auswirkung zu prognostizieren. Diese Zahl bestimmt die Entscheidung über das Ausrollen und Ihre Roadmap.

Halten Sie Hypothese, Ergebnis, Konfidenz, Effektstärke und Entscheidung in einem gemeinsamen Protokoll fest. Frühere Tests bilden eine Wissensbasis, die verhindert, dass Sie Sackgassen wiederholen.

Teilen Sie sowohl Erfolge als auch Misserfolge mit dem Team, damit sich Erkenntnisse im gesamten Experimentierprogramm vervielfachen.

Ein Erfolg im Test garantiert nicht, dass derselbe Lift auch in der Produktion erreicht wird. Nachdem Sie die Änderung zu 100 % ausgerollt haben, beobachten Sie die Metrik einige Wochen lang.

Neuheitseffekte, Saisonalität und Implementierungsfehler können ein Ergebnis abschwächen. Vergewissern Sie sich, dass der Erfolg anhält, bevor Sie die prognostizierten Einnahmen einplanen.

Optimierung ist eine Schleife, kein einmaliges Projekt. Jedes Ergebnis, ob Erfolg oder Misserfolg, sollte die nächste Hypothese hervorbringen.

Ein erfolgreiches Badge zur Risikoumkehr könnte zum Testen einer stärkeren Garantie anregen. Ein erfolgloses Layout weist in eine andere Richtung. Kontinuierliches Experimentieren summiert kleine Verbesserungen zu großen Erfolgen.

Bewerten Sie Tests anhand der vorab registrierten primären Metrik und prüfen Sie vor dem Ausrollen die Guardrail-Metriken. Nicht eindeutige Ergebnisse liefern trotzdem Erkenntnisse.

Segmentieren Sie sorgfältig, ohne nach zufälligen Erfolgen zu suchen, übersetzen Sie Lifts in geschäftliche Auswirkungen, dokumentieren Sie jeden Test, verifizieren Sie Erfolge in der Produktion und lassen Sie jedes Ergebnis in das nächste Experiment einfließen.