Leggere un MMM

Un MMM stimato fornisce coefficienti, grafici dei contributi, curve di risposta e statistiche di adattamento. Interpretarli correttamente trasforma la matematica in decisioni di budget.

Questa lezione illustra gli output che un analista esamina davvero con attenzione prima di fidarsi di un modello.

L'output principale scompone le vendite totali nella base e nel contributo incrementale di ciascun canale durante il periodo.

Lo si può leggere così: di tutte le unità vendute, quante sarebbero state vendute comunque (base) e quante ne ha aggiunte ciascun canale. La somma delle componenti dovrebbe corrispondere alle vendite effettive.

Divida i ricavi incrementali di un canale per la sua spesa per ottenere il ROI (o ROAS). Questa è l'unità di misura comparabile tra i canali.

Consideri la differenza tra ROI medio (sull'intero periodo) e ROI marginale (sul prossimo euro). Le decisioni di allocazione dipendono dal valore marginale.

A causa della saturazione, un canale con un ROI medio elevato potrebbe essere quasi al limite, quindi il suo prossimo euro genererebbe un ritorno ridotto.

Il ROI marginale è la pendenza della curva di risposta al livello di spesa attuale. Riallochi il budget verso i canali con il ROI marginale più alto, non verso quelli con il ROI medio più alto.

La curva di risposta di ogni canale rappresenta le vendite incrementali in funzione della spesa. La regione iniziale, più ripida, è efficiente; quella piatta è satura.

Individui sulla curva il livello di spesa attuale. Se si trova nella parte piatta, altro budget verrebbe sprecato. Se si trova nella parte ripida, c'è ancora margine di crescita.

Verifichi innanzitutto i segni. I coefficienti dei media dovrebbero essere positivi; quelli del prezzo solitamente negativi; quelli delle promozioni positivi. Un coefficiente negativo per la TV segnala collinearità o un errore del modello.

Le grandezze devono essere plausibili rispetto ai prior e ai benchmark, non soltanto statisticamente significative.

R-squared mostra l'adattamento sul campione, ma un valore elevato può indicare overfitting. Dia maggiore fiducia alle metriche fuori campione: MAPE su un periodo holdout e convalida incrociata per serie temporali.

Esamini anche i residui: dovrebbero apparire come rumore, senza trend o stagionalità residui.

Le stime puntuali possono trarre in inganno. I modelli MMM bayesiani riportano intervalli credibili; quelli frequentisti riportano intervalli di confidenza. Un canale il cui intervallo comprende lo zero non è affidabilmente positivo.

Presenti gli intervalli agli stakeholder, così le decisioni tengono conto di quanto il modello sappia effettivamente.

Oltre al totale del periodo, visualizzi i contributi settimana per settimana. Questo rivela se l'effetto di un canale è costante, concentrato in picchi o in diminuzione.

I picchi che coincidono con i periodi di diffusione aumentano la fiducia; contributi che compaiono senza spesa suggeriscono una distorsione proveniente da un controllo mancante.

La validazione più solida consiste nel confrontare l'incremento del canale stimato dall'MMM con quello di un esperimento geografico randomizzato o di un esperimento di conversion lift.

Se l'MMM indica un ROAS di Search pari a 5, ma un test geografico indica 3, occorre ricalibrare, spesso tramite un prior. I modelli che concordano con gli esperimenti ottengono credibilità anche per i canali mai sottoposti a test.

Diffidi di un modello con segni implausibili, una base troppo piccola, ROI in contrasto con i benchmark, intervalli ampi presentati come certezze o un ottimo adattamento sul campione ma risultati scarsi sul periodo holdout.

Interpretare un MMM richiede tanto scetticismo quanto capacità di fare calcoli.

Applichi la distinzione tra ROI medio e marginale a una decisione di allocazione.

Legga un MMM attraverso la sua scomposizione (base e incremento), il ROAS per canale e soprattutto le curve di risposta, che rivelano i rendimenti marginali.

Controlli i segni dei coefficienti, l'adattamento sul periodo holdout, i residui e gli intervalli di incertezza, quindi calibri il modello rispetto agli esperimenti. Le decisioni devono seguire il ROI marginale, non le medie riportate nei titoli.