Eine Hypothese formulieren

Eine Testidee ist zunächst nur eine Vermutung. Eine Hypothese macht daraus eine überprüfbare Vorhersage mit einer Begründung und einem erwarteten Ergebnis.

„Testen wir eine neue Überschrift“ ist eine Idee. „Eine nutzenorientierte Überschrift wird die Zahl der Registrierungen erhöhen, weil Besucher den Wert nicht verstehen“ ist eine Hypothese, die Sie tatsächlich überprüfen können.

Eine starke Hypothese besteht aus drei Teilen: der Änderung, der erwarteten Auswirkung und dem Messwert, der sie belegt. Ein wiederverwendbarer Satz sorgt für Klarheit und Verbindlichkeit.

Füllen Sie jede Klammer mit einer konkreten und messbaren Angabe aus, bevor Sie die Variante erstellen.

Die besten Hypothesen enthalten die Begründung für die Änderung. Das „weil“ zwingt Sie, den Test mit dem tatsächlichen Nutzerverhalten zu verknüpfen.

Erweitern Sie die Vorlage: „Wir glauben, dass [Änderung] zu [Auswirkung] führt, weil [Erkenntnis], gemessen anhand von [Messwert].“ So liefern auch fehlgeschlagene Tests Erkenntnisse und sind nicht nur enttäuschend.

Stellen Sie sich vor, Umfragedaten zeigen, dass Nutzer Ihrer Preisgestaltung misstrauen. Sie beschließen, eine Garantie hinzuzufügen.

Wenn Sie der Vorlage folgen, ergibt sich die Hypothese fast von selbst. Beachten Sie, wie konkret Änderung, Auswirkung und Messwert jeweils formuliert sind.

Vage Messwerte wie „Engagement“ oder „bessere Leistung“ lassen sich nicht eindeutig messen. Wählen Sie einen primären Messwert, der direkt zur Änderung passt.

Wenn die Änderung auf der Checkout-Seite erfolgt, ist der primäre Messwert normalerweise der Abschluss des Checkouts oder die Kaufrate – nicht die Anzahl der Seitenaufrufe oder die Verweildauer auf der Website.

Verfolgen Sie einen primären Messwert, um einen Gewinner zu bestimmen, sowie Guardrail-Metriken, um unbeabsichtigte Schäden zu erkennen.

Wenn ein verkürztes Formular zwar die Zahl der Registrierungen erhöht, aber die Lead-Qualität im weiteren Verlauf verschlechtert, hat Ihre Guardrail-Metrik einen Scheinsieg aufgedeckt. Definieren Sie beides vor dem Start.

Eine überprüfbare Hypothese sagt eine Richtung (nach oben oder unten) und idealerweise eine ungefähre Größenordnung voraus. „Die Conversion-Rate wird sich verbessern“ ist schwach; „Die Conversion-Rate wird um mindestens 10 % steigen“ ist präzise.

Eine erwartete Effektgröße hilft Ihnen außerdem bei der Planung des erforderlichen Traffics für den Test.

Jede Hypothese sollte eine Quelle nennen: Analytics-Daten, Heatmaps, Umfragen, Supportanfragen oder frühere Tests.

Wenn Sie keine Belege dafür anführen können, warum eine Änderung funktionieren wird, ist die Idee eine Vermutung. Auf Belegen beruhende Hypothesen sind häufiger erfolgreich und liefern auch dann mehr Erkenntnisse, wenn sie scheitern.

Eine gute Hypothese kann sich als falsch erweisen. Wenn kein mögliches Ergebnis Ihre Meinung ändern würde, handelt es sich um eine Ansicht und nicht um eine Hypothese.

Legen Sie im Voraus fest, welches Ergebnis Sie dazu bringen würde, die Änderung abzulehnen. So verhindern Sie, dass Sie ein unverändertes oder negatives Ergebnis im Nachhinein schönreden.

Schreiben Sie die vollständige Hypothese, den primären Messwert, die Guardrail-Metriken und die erwartete Auswirkung auf, bevor der Test live geht. Legen Sie diese Angaben fest, damit die Ergebnisse später nicht umgedeutet werden können.

Eine Vorabregistrierung verhindert Rosinenpickerei und hält Ihr Experimentierprogramm glaubwürdig.

Vergleichen Sie zwei Versionen derselben Idee. Die schwache Version ist nicht überprüfbar; die starke ist konkret, begründet und messbar.

Bringen Sie Ihrem Team bei, jede schwache Hypothese in die starke Form zu überführen, bevor Arbeiten an der Variante beginnen.

Welche Option ist die stärkste Hypothese?

Machen Sie aus Ideen überprüfbare Vorhersagen. Verwenden Sie dazu die Vorlage: Wir glauben, dass [Änderung] zu [Auswirkung] führt, weil [Erkenntnis], gemessen anhand von [Messwert].

Wählen Sie einen konkreten primären Messwert sowie Guardrail-Metriken, sagen Sie Richtung und Größe voraus, stützen Sie die Hypothese auf Belege, halten Sie sie widerlegbar und dokumentieren Sie sie vor dem Start.