Statistische Signifikanz

Conversion-Raten schwanken zufallsbedingt. Wenn Variante B Variante A bei einer kleinen Stichprobe um 2 % übertrifft, kann dieser Unterschied reines Rauschen sein.

Die statistische Signifikanz zeigt, wie wahrscheinlich es ist, dass der beobachtete Unterschied tatsächlich besteht und nicht auf Zufall beruht. Ohne sie besteht die Gefahr, Änderungen zu veröffentlichen, die nichts bewirken.

Jede Messung weist Schwankungen auf. Wenn Sie eine faire Münze zehnmal werfen, erhalten Sie nur selten genau fünfmal Kopf.

Dasselbe gilt für Conversions. Ein kurzer Test kann nur deshalb einen falschen Gewinner zeigen, weil eine Variante eine Glückssträhne hatte. Signifikanz trennt das echte Signal von diesem Rauschen.

Der p-Wert schätzt die Wahrscheinlichkeit, Ihr Ergebnis oder ein noch extremeres Ergebnis zu beobachten, wenn tatsächlich kein Unterschied zwischen den Varianten bestünde.

Ein kleiner p-Wert bedeutet, dass das Ergebnis allein durch Zufall unwahrscheinlich wäre. Marketingfachleute betrachten einen p-Wert unter 0,05 häufig als Schwellenwert für statistische Signifikanz.

Die meisten A/B-Tools geben statt eines rohen p-Werts ein Konfidenzniveau aus. Ein Konfidenzniveau von 95 % entspricht einem p-Wert unter 0,05.

Das bedeutet: Wenn sich tatsächlich nichts geändert hätte, würden Sie einen so großen Unterschied nur in ungefähr 5 % der Fälle beobachten. Ein höheres Konfidenzniveau erfordert mehr Daten.

Die Teststärke ist die Wahrscheinlichkeit, dass Ihr Test einen tatsächlich vorhandenen Effekt erkennt. Bei geringer Teststärke bleiben echte Gewinner unbemerkt.

Das Standardziel liegt bei einer Teststärke von 80 %. Tests mit zu geringer Teststärke verschwenden Traffic und liefern nicht eindeutige Ergebnisse, die dazu verleiten, sie zu früh abzubrechen.

Der kleinste nachweisbare Effekt, kurz MDE, ist die geringste Verbesserung, die der Test zuverlässig erkennen soll.

Um eine kleine Steigerung von 1 % zu erkennen, benötigen Sie deutlich mehr Traffic als für eine Steigerung von 10 %. Legen Sie vor dem Start einen realistischen MDE fest; er bestimmt direkt den erforderlichen Stichprobenumfang.

Geben Sie vor dem Start Ihre Ausgangsrate, den angestrebten MDE, das Konfidenzniveau und die Teststärke in einen Stichprobenumfangsrechner ein. Er zeigt Ihnen, wie viele Besucher jede Variante benötigt.

Halten Sie sich an diese Zahl. Ein vorzeitiges Ende, weil Variante B „wie der Gewinner aussieht“, ist die häufigste Art, wie Teams sich selbst täuschen.

Wenn Sie die Ergebnisse wiederholt prüfen und den Test in dem Moment beenden, in dem Signifikanz erreicht wird, steigt Ihre Fehlalarmrate erheblich.

Jede Prüfung ist eine weitere Gelegenheit für zufälliges Rauschen, die Signifikanzgrenze zu überschreiten. Legen Sie Stichprobengröße und Dauer im Voraus fest und warten Sie dann ab. Beenden Sie den Test nicht beim ersten positiven Ergebnis.

Das Verhalten unterscheidet sich an Werktagen, Wochenenden und Zahltagen. Ein Test, der von Montag bis Mittwoch läuft, erfasst Wochenendkäufer überhaupt nicht.

Führen Sie den Test mindestens eine oder zwei vollständige Wochen lang durch, damit jede Variante eine repräsentative Mischung aus Besuchern sieht. Sowohl Stichprobengröße als auch Dauer sind Voraussetzungen für ein gültiges Ergebnis.

Ein Ergebnis kann statistisch signifikant und für das Unternehmen trotzdem zu unbedeutend sein. Bei sehr hohem Traffic kann selbst eine Steigerung von 0,1 % ein Konfidenzniveau von 95 % erreichen.

Betrachten Sie die Signifikanz immer zusammen mit der Effektgröße und ihrem praktischen Wert. Fragen Sie sich: Ist diese Steigerung groß genug, um die Änderung zu rechtfertigen?

Das Konfidenzintervall zeigt den plausiblen Bereich des tatsächlichen Effekts. Eine Punktschätzung von +8 % mit einem Intervall von −1 % bis +17 % ist unsicher.

Bevorzugen Sie Ergebnisse, bei denen das gesamte Intervall positiv bleibt. Ein breites Intervall, das null überschreitet, bedeutet, dass Sie nicht sicher sein können, ob die Änderung überhaupt hilft.

Testen Sie Ihr Verständnis von Signifikanz.

Signifikanz trennt echte Effekte von zufälligem Rauschen. Streben Sie eine Konfidenz von 95 % und eine Teststärke von 80 % an, legen Sie eine MDE fest und berechnen Sie die Stichprobengröße, bevor Sie den Test starten.

Vermeiden Sie vorzeitiges Nachsehen, führen Sie den Test über vollständige Geschäftszyklen hinweg durch und bewerten Sie die Ergebnisse anhand von Effektstärke und Konfidenzintervall, nicht anhand der Signifikanz allein.