Tolka en MMM-modell

Dela en kanals inkrementella intäkter med dess utgifter för att få ROI (eller ROAS). Det är den jämförbara måttenheten mellan kanaler.

Var uppmärksam på skillnaden mellan genomsnittlig ROI (hela perioden) och marginell ROI (nästa krona). Fördelningsbeslut bör baseras på den marginella siffran.

På grund av mättnad kan en kanal med hög genomsnittlig ROI vara nästan fullt utnyttjad, så att nästa krona ger liten avkastning.

Marginell ROI är lutningen på responskurvan vid den aktuella utgiftsnivån. Omfördela till kanaler med högst marginell ROI, inte högst genomsnittlig ROI.

Varje kanals responskurva visar inkrementell försäljning i relation till utgifter. Den branta inledande delen är effektiv, medan den flacka delen är mättad.

Hitta de aktuella utgifterna på kurvan. Om ni befinner er på den flacka delen är en större budget slöseri. Om ni befinner er på den branta delen finns det utrymme att växa.

Kontrollera först tecknen med ett rimlighetstest. Mediekoefficienter bör vara positiva, pris vanligtvis negativt och kampanj positivt. En negativ TV-koefficient signalerar kollinearitet eller ett modellfel.

Storlekarna bör vara rimliga i förhållande till priorer och riktmärken, inte bara statistiskt signifikanta.

R-kvadrat visar anpassningen på träningsdata, men ett högt värde kan innebära överanpassning. Lita mer på mått utanför urvalet: MAPE på en holdout-period och korsvalidering för tidsserier.

Granska även residualerna: de bör se ut som brus utan kvarvarande trend eller säsong.

Punktskattningar kan ljuga. Bayesianska MMM-modeller rapporterar trovärdighetsintervall, medan frekventistiska modeller rapporterar konfidensintervall. En kanal vars intervall korsar noll är inte tillförlitligt positiv.

Presentera intervall för intressenterna så att besluten tar hänsyn till hur mycket modellen faktiskt vet.

Utöver totalsumman för perioden bör ni visa bidragen vecka för vecka. Då framgår det om en kanals effekt är stabil, spetsig eller avtagande.

Toppar som sammanfaller med kampanjperioder stärker förtroendet, medan bidrag som uppstår utan utgifter tyder på läckage från en saknad kontrollvariabel.

Den starkaste valideringen är att jämföra MMM:s kanallyft med ett randomiserat geoexperiment eller ett experiment för konverteringslyft.

Om MMM visar att Search ROAS är 5 men ett geoexperiment visar 3 bör ni kalibrera om modellen, ofta via en prior. Modeller som stämmer med experiment vinner förtroende även för kanaler som aldrig har testats.

Misstro en modell med orimliga tecken, en för liten bas, ROI-värden som strider mot riktmärken, breda intervall som presenteras som säkra eller god anpassning på träningsdata men dålig anpassning på holdout-data.

Att läsa en MMM-modell kräver lika mycket skepsis som aritmetik.

Läs en MMM-modell genom dess uppdelning (bas kontra inkrementellt), ROAS per kanal och framför allt responskurvorna som visar den marginella avkastningen.

Kontrollera koefficienternas tecken, anpassningen på holdout-data, residualerna och osäkerhetsintervallen, och kalibrera mot experiment. Beslut bör följa marginell ROI, inte de övergripande genomsnitten.