Lectura de un MMM

Un MMM ajustado le proporciona coeficientes, gráficos de contribución, curvas de respuesta y estadísticas de ajuste. Interpretarlos correctamente convierte las matemáticas en decisiones presupuestarias.

En esta lección se repasan los resultados que un analista examina realmente antes de confiar en un modelo.

El resultado principal divide las ventas totales entre la base y la contribución incremental de cada canal durante el periodo.

Interprételo así: de todas las unidades vendidas, cuántas se habrían vendido de todos modos (la base) y cuántas añadió cada canal. La suma de las partes debe cuadrar con las ventas reales.

Divida los ingresos incrementales de un canal entre su inversión para obtener el ROI (o ROAS). Esta es la unidad de comparación entre canales.

Preste atención a la diferencia entre el ROI medio (de todo el periodo) y el ROI marginal (del siguiente euro). Las decisiones de asignación dependen de la cifra marginal.

Debido a la saturación, un canal con un ROI medio alto puede estar casi al límite, por lo que el siguiente euro invertido genera poco rendimiento.

El ROI marginal es la pendiente de la curva de respuesta en el nivel de inversión actual. Reasigne el presupuesto hacia los canales con el ROI marginal más alto, no hacia los que tengan el ROI medio más alto.

La curva de respuesta de cada canal representa las ventas incrementales en función de la inversión. La zona inicial, más inclinada, es eficiente; la zona plana está saturada.

Localice la inversión actual en la curva. Si se encuentra en la parte plana, aumentar el presupuesto es un desperdicio. Si está en la parte inclinada, aún hay margen de crecimiento.

Compruebe primero que los signos sean razonables. Los coeficientes de los medios deberían ser positivos; el precio suele ser negativo y las promociones, positivas. Un coeficiente negativo para la televisión indica colinealidad o un error del modelo.

Las magnitudes deben ser plausibles en comparación con las distribuciones previas y los valores de referencia, no solo estadísticamente significativas.

El R-squared muestra el ajuste dentro de la muestra, pero un valor alto puede indicar un sobreajuste. Dé más importancia a las métricas fuera de muestra: el MAPE en un periodo de control y la validación cruzada de series temporales.

Examine también los residuos: deberían parecer ruido, sin tendencia ni estacionalidad restantes.

Las estimaciones puntuales pueden engañar. Los MMM bayesianos informan de intervalos creíbles; los frecuentistas, de intervalos de confianza. Un canal cuyo intervalo cruza el cero no es de forma fiable positivo.

Presente rangos a las partes interesadas para que las decisiones tengan en cuenta cuánto sabe realmente el modelo.

Además del total del periodo, consulte las contribuciones semana a semana. Esto revela si el efecto de un canal es constante, puntual o decreciente.

Los picos que coinciden con los periodos de emisión generan confianza; las contribuciones que aparecen sin inversión sugieren una filtración procedente de un control omitido.

La validación más sólida consiste en comparar el incremento de un canal según el MMM con un experimento geográfico aleatorizado o una prueba de incremento de conversiones.

Si el MMM indica que el ROAS de Search es 5, pero una prueba geográfica indica que es 3, recalibre el modelo, a menudo mediante una distribución previa. Los modelos que coinciden con los experimentos ganan credibilidad para los canales que nunca se han probado.

Desconfíe de un modelo con signos inverosímiles, una base demasiado pequeña, ROI que contradicen los valores de referencia, intervalos amplios presentados como certezas o un gran ajuste dentro de la muestra, pero un ajuste deficiente en el periodo de control.

Leer un MMM requiere tanto escepticismo como aritmética.

Aplique la diferencia entre ROI medio y marginal a una decisión de asignación.

Lea un MMM a través de su descomposición (base frente a incremental), el ROAS de cada canal y, sobre todo, las curvas de respuesta que revelan los rendimientos marginales.

Compruebe los signos de los coeficientes, el ajuste en el periodo de control, los residuos y los intervalos de incertidumbre, y calibre el modelo con experimentos. Las decisiones deben basarse en el ROI marginal, no en los promedios principales.