Lire un modèle MMM

Un MMM ajusté fournit des coefficients, des graphiques de contribution, des courbes de réponse et des statistiques d’ajustement. Bien les interpréter permet de transformer les mathématiques en décisions budgétaires.

Cette leçon présente les résultats qu’un analyste examine réellement avant d’accorder sa confiance à un modèle.

Le résultat principal répartit les ventes totales entre le socle et la contribution incrémentale de chaque canal sur la période.

Interprétez-le ainsi : parmi toutes les unités vendues, combien se seraient vendues de toute façon (le socle) et combien chaque canal a-t-il ajoutées ? La somme des composantes doit correspondre aux ventes réelles.

Divisez le chiffre d’affaires incrémental d’un canal par ses dépenses pour obtenir son ROI (ou son ROAS). C’est une référence comparable entre les canaux.

Observez la différence entre le ROI moyen (sur toute la période) et le ROI marginal (celui du prochain euro). Les décisions d’allocation reposent sur la valeur marginale.

En raison de la saturation, un canal affichant un ROI moyen élevé peut être presque arrivé à son maximum, de sorte que son prochain euro rapporte peu.

Le ROI marginal est la pente de la courbe de réponse au niveau de dépenses actuel. Réallouez les fonds vers les canaux dont le ROI marginal est le plus élevé, et non vers ceux dont le ROI moyen est le plus élevé.

La courbe de réponse de chaque canal représente les ventes incrémentales en fonction des dépenses. La zone initiale, très pentue, est efficace ; la zone plate est saturée.

Repérez les dépenses actuelles sur la courbe. Si vous vous trouvez dans la partie plate, augmenter le budget est une dépense inutile. Si vous êtes dans la partie pentue, une marge de progression existe.

Commencez par vérifier la cohérence des signes. Les coefficients média devraient être positifs ; le prix est généralement négatif ; la promotion est positive. Un coefficient TV négatif signale une colinéarité ou une erreur de modèle.

Les amplitudes doivent être plausibles au regard des a priori et des références, et pas seulement statistiquement significatives.

Le coefficient de détermination montre l’ajustement sur l’échantillon, mais une valeur élevée peut indiquer un surajustement. Faites davantage confiance aux mesures hors échantillon : la MAPE sur une période de réserve et la validation croisée sur séries temporelles.

Examinez également les résidus : ils devraient ressembler à du bruit, sans tendance ni saisonnalité résiduelle.

Les estimations ponctuelles peuvent être trompeuses. Les MMM bayésiens fournissent des intervalles de crédibilité ; les modèles fréquentistes fournissent des intervalles de confiance. Un canal dont l’intervalle inclut zéro n’est pas positivement fiable.

Présentez des fourchettes aux parties prenantes afin que les décisions tiennent compte de ce que le modèle sait réellement.

Au-delà du total de la période, observez les contributions semaine après semaine. Vous découvrirez ainsi si l’effet d’un canal est régulier, concentré en pics ou en train de s’estomper.

Les pics qui coïncident avec les périodes de diffusion renforcent la confiance ; les contributions apparaissant sans dépenses suggèrent une fuite provenant d’une variable de contrôle manquante.

La validation la plus solide consiste à comparer la hausse attribuée à un canal par MMM à celle mesurée par une expérience géographique randomisée ou une expérience de hausse des conversions.

Si MMM indique un ROAS de 5 pour la Recherche, mais qu’un test géographique indique 3, réétalonnez le modèle, souvent au moyen d’un a priori. Les modèles qui correspondent aux expériences gagnent en crédibilité pour les canaux qui n’ont jamais été testés.

Méfiez-vous d’un modèle présentant des signes peu plausibles, un socle trop faible, des ROI qui défient les références, de larges intervalles présentés comme des certitudes ou un excellent ajustement sur l’échantillon, mais un mauvais résultat sur la période de réserve.

Interpréter un MMM demande autant d’esprit critique que de calcul.

Appliquez la distinction entre valeur moyenne et valeur marginale à une décision d’allocation.

Interprétez un MMM à travers sa décomposition (socle contre incrémental), le ROAS de chaque canal et, surtout, les courbes de réponse qui révèlent les rendements marginaux.

Vérifiez les signes des coefficients, l’ajustement sur la période de réserve, les résidus et les intervalles d’incertitude, puis étalonnez le modèle par rapport aux expériences. Les décisions suivent le ROI marginal, et non les moyennes mises en avant.