Ein MMM auswerten

Ein angepasstes MMM liefert Ihnen Koeffizienten, Beitragsdiagramme, Wirkungskurven und Anpassungsstatistiken. Wer diese richtig liest, verwandelt Mathematik in Budgetentscheidungen.

Diese Lektion führt durch die Ausgaben, die ein Analyst tatsächlich genau prüft, bevor er einem Modell vertraut.

Die zentrale Ausgabe zerlegt die Gesamtverkäufe für den betrachteten Zeitraum in die Basis und den inkrementellen Beitrag jedes Kanals.

Lesen Sie sie so: Wie viele der verkauften Einheiten wären ohnehin verkauft worden (Basis) und wie viele hat jeder Kanal zusätzlich beigetragen? Die Summe der Einzelteile sollte mit den tatsächlichen Verkäufen übereinstimmen.

Teilen Sie den inkrementellen Umsatz eines Kanals durch seine Ausgaben, um den ROI (oder ROAS) zu erhalten. Das ist die vergleichbare Kennzahl über alle Kanäle hinweg.

Achten Sie auf den Unterschied zwischen dem durchschnittlichen ROI (gesamter Zeitraum) und dem marginalen ROI (nächster Euro). Verteilungsentscheidungen hängen von der marginalen Kennzahl ab.

Aufgrund der Sättigung kann ein Kanal mit hohem durchschnittlichem ROI nahezu ausgeschöpft sein, sodass sein nächster Euro nur wenig einbringt.

Der marginale ROI ist die Steigung der Wirkungskurve beim aktuellen Ausgabenniveau. Verteilen Sie Budget auf Kanäle mit dem höchsten marginalen und nicht dem höchsten durchschnittlichen ROI um.

Die Wirkungskurve jedes Kanals stellt die inkrementellen Verkäufe den Ausgaben gegenüber. Der steile Anfangsbereich ist effizient, der flache Bereich gesättigt.

Ermitteln Sie die aktuellen Ausgaben auf der Kurve. Befinden Sie sich im flachen Bereich, wird zusätzliches Budget verschwendet. Befinden Sie sich im steilen Bereich, besteht noch Spielraum.

Prüfen Sie zunächst die Vorzeichen auf Plausibilität. Medienkoeffizienten sollten positiv sein, der Preis normalerweise negativ und Werbeaktionen positiv. Ein negativer TV-Koeffizient weist auf Multikollinearität oder einen Modellfehler hin.

Die Größenordnungen sollten im Vergleich zu Vorannahmen und Benchmarks plausibel sein und nicht nur statistisch signifikant.

R-squared zeigt die Anpassung innerhalb der Stichprobe, ein hoher Wert kann jedoch auf Overfitting hindeuten. Vertrauen Sie stärker auf Out-of-Sample-Kennzahlen: MAPE für einen Holdout-Zeitraum und Zeitreihen-Cross-Validation.

Prüfen Sie außerdem die Residuen: Sie sollten wie Rauschen aussehen und keinen verbleibenden Trend oder keine verbleibende Saisonalität aufweisen.

Punktschätzungen können täuschen. Bayesianische MMMs geben glaubwürdige Intervalle aus, frequentistische Modelle Konfidenzintervalle. Ein Kanal, dessen Intervall die Null einschließt, ist nicht zuverlässig positiv.

Präsentieren Sie Stakeholdern Bandbreiten, damit Entscheidungen berücksichtigen, wie viel das Modell tatsächlich weiß.

Betrachten Sie zusätzlich zur Summe für den gesamten Zeitraum die Beiträge Woche für Woche. So erkennen Sie, ob die Wirkung eines Kanals konstant, sprunghaft oder abnehmend ist.

Spitzen, die mit Schaltzeiträumen zusammenfallen, stärken das Vertrauen. Beiträge, die ohne Ausgaben auftreten, deuten auf Leakage durch eine fehlende Kontrollvariable hin.

Die stärkste Validierung ist der Vergleich des durch MMM ermittelten Kanalanstiegs mit einem randomisierten Geo- oder Conversion-Lift-Experiment.

Wenn MMM einen Search-ROAS von 5 ausweist, ein Geo-Test aber 3, kalibrieren Sie nach, oft mithilfe eines Priors. Modelle, die mit Experimenten übereinstimmen, schaffen Vertrauen für Kanäle, die nie getestet wurden.

Misstrauen Sie einem Modell mit unplausiblen Vorzeichen, einer zu kleinen Basis, ROIs, die Benchmarks widersprechen, breiten Intervallen, die als Gewissheit präsentiert werden, oder einer guten Anpassung innerhalb der Stichprobe bei gleichzeitig schlechtem Holdout-Ergebnis.

Ein MMM zu beurteilen erfordert ebenso viel Skepsis wie Rechenarbeit.

Wenden Sie den Unterschied zwischen durchschnittlichem und marginalem ROI auf eine Budgetentscheidung an.

Lesen Sie ein MMM anhand seiner Zerlegung (Basis vs. inkrementeller Anteil), des ROAS pro Kanal und insbesondere der Wirkungskurven, die die marginalen Erträge sichtbar machen.

Prüfen Sie die Vorzeichen der Koeffizienten, die Anpassung im Holdout, die Residuen und die Unsicherheitsintervalle und kalibrieren Sie das Modell anhand von Experimenten. Entscheidungen folgen dem marginalen ROI, nicht den Durchschnittswerten in der Überschrift.