Odczytywanie modelu MMM

Dopasowany model MMM dostarcza współczynników, wykresów wkładu, krzywych odpowiedzi i statystyk dopasowania. Właściwa interpretacja tych elementów pozwala przełożyć matematykę na decyzje budżetowe.

W tej lekcji omówiono wyniki, które analityk rzeczywiście szczegółowo analizuje, zanim zaufa modelowi.

Najważniejszy wynik rozdziela całkowitą sprzedaż na bazę oraz przyrostowy wkład każdego kanału w analizowanym okresie.

Należy interpretować go następująco: spośród wszystkich sprzedanych jednostek ile zostałoby sprzedanych niezależnie od działań (baza), a ile dodał każdy kanał. Suma poszczególnych składników powinna być zgodna z rzeczywistą sprzedażą.

Podzielenie przychodu przyrostowego kanału przez jego wydatki daje ROI (lub ROAS). To porównywalna miara dla wszystkich kanałów.

Należy zwrócić uwagę na różnicę między średnim ROI (dla całego okresu) a krańcowym ROI (dla kolejnego wydanego dolara). Decyzje o alokacji zależą od wartości krańcowej.

Z powodu nasycenia kanał o wysokim średnim ROI może być już niemal maksymalnie wykorzystany, więc jego kolejny dolar przyniesie niewielki zwrot.

Krańcowy ROI to nachylenie krzywej odpowiedzi przy bieżącym poziomie wydatków. Budżet należy przesuwać do kanałów o najwyższym krańcowym, a nie średnim, ROI.

Krzywa odpowiedzi każdego kanału przedstawia przyrostową sprzedaż w zależności od wydatków. Jej stromy początkowy odcinek jest efektywny, a płaski odcinek oznacza nasycenie.

Należy znaleźć bieżący poziom wydatków na krzywej. Jeśli znajduje się on na płaskim odcinku, dalsze zwiększanie budżetu jest marnotrawstwem. Jeśli znajduje się na stromym odcinku, istnieje jeszcze przestrzeń do wzrostu.

Najpierw należy sprawdzić, czy znaki są logiczne. Współczynniki mediowe powinny być dodatnie, ceny zwykle ujemne, a promocje dodatnie. Ujemny współczynnik telewizji sygnalizuje współliniowość lub błąd modelu.

Wartości współczynników powinny być wiarygodne w świetle założeń i benchmarków, a nie tylko statystycznie istotne.

R-kwadrat pokazuje dopasowanie w próbie, ale wysoka wartość może oznaczać nadmierne dopasowanie. Większym zaufaniem należy darzyć metryki spoza próby: MAPE dla okresu kontrolnego i walidację krzyżową szeregów czasowych.

Należy również przeanalizować reszty: powinny przypominać szum, bez pozostałego trendu ani sezonowości.

Pojedyncze estymacje bywają mylące. Modele MMM bayesowskie raportują przedziały wiarygodności, a modele frekwentystyczne — przedziały ufności. Jeśli przedział dla kanału obejmuje zero, nie można uznać jego dodatniego wpływu za wiarygodny.

Wyniki należy przedstawiać interesariuszom jako zakresy, aby decyzje uwzględniały stopień rzeczywistej wiedzy modelu.

Oprócz sumy dla całego okresu należy analizować wkłady tydzień po tygodniu. Ujawnia to, czy efekt kanału jest stały, skokowy czy wygasa.

Skoki pokrywające się z okresami emisji kampanii zwiększają wiarygodność modelu, a wkłady pojawiające się bez wydatków sugerują wyciek wynikający z brakującej zmiennej kontrolnej.

Najsilniejszą metodą walidacji jest porównanie wzrostu przypisanego kanałowi przez MMM z wynikami randomizowanego eksperymentu geograficznego lub eksperymentu mierzącego przyrost konwersji.

Jeśli MMM wskazuje ROAS dla Search równy 5, a test geograficzny — 3, należy przeprowadzić ponowną kalibrację, często za pomocą priora. Modele zgodne z wynikami eksperymentów zyskują wiarygodność także dla kanałów, których nigdy nie testowano.

Należy podważyć wiarygodność modelu, który ma nieprawdopodobne znaki współczynników, zbyt małą bazę, wartości ROI sprzeczne z benchmarkami, szerokie przedziały przedstawiane jako pewniki albo świetne dopasowanie w próbie przy słabym wyniku dla okresu kontrolnego.

Interpretacja MMM wymaga tyle samo sceptycyzmu co obliczeń.

Zastosuj rozróżnienie między średnim a krańcowym ROI do decyzji o alokacji.

MMM należy interpretować na podstawie dekompozycji (baza a wkład przyrostowy), ROAS poszczególnych kanałów, a przede wszystkim krzywych odpowiedzi ujawniających krańcowe zwroty.

Należy sprawdzić znaki współczynników, dopasowanie dla okresu kontrolnego, reszty i przedziały niepewności, a także przeprowadzić kalibrację względem eksperymentów. Decyzje powinny wynikać z krańcowego ROI, a nie z ogólnych średnich.