Interpretando um MMM

Um MMM ajustado fornece coeficientes, gráficos de contribuição, curvas de resposta e estatísticas de ajuste. Interpretá-los bem transforma a matemática em decisões de orçamento.

Nesta lição, você verá as saídas que um analista realmente examina antes de confiar em um modelo.

A principal saída divide o total de vendas entre a base e a contribuição incremental de cada canal ao longo do período.

Interprete assim: de todas as unidades vendidas, quantas teriam sido vendidas de qualquer maneira (a base) e quantas foram acrescentadas por cada canal. A soma das partes deve conciliar com as vendas reais.

Divida a receita incremental de um canal pelo seu investimento para obter o ROI (ou ROAS). Essa é a métrica comparável entre os canais.

Observe a diferença entre o ROI médio (de todo o período) e o ROI marginal (do próximo real). As decisões de alocação dependem do valor marginal.

Devido à saturação, um canal com ROI médio alto pode estar quase no limite, fazendo com que seu próximo real gere pouco retorno.

O ROI marginal é a inclinação da curva de resposta no nível atual de investimento. Redistribua o orçamento para os canais com maior ROI marginal, não para aqueles com maior ROI médio.

A curva de resposta de cada canal mostra as vendas incrementais em relação ao investimento. O trecho inicial e íngreme é eficiente; o trecho plano está saturado.

Localize o investimento atual na curva. Se você estiver na parte plana, mais orçamento será desperdiçado. Se estiver na parte íngreme, ainda haverá espaço para crescer.

Verifique primeiro a plausibilidade dos sinais. Os coeficientes de mídia devem ser positivos; o preço geralmente é negativo; a promoção é positiva. Um coeficiente negativo para TV indica colinearidade ou um erro no modelo.

As magnitudes devem ser plausíveis quando comparadas a informações a priori e referências de mercado, não apenas estatisticamente significativas.

O R-quadrado mostra o ajuste dentro da amostra, mas um valor alto pode indicar ajuste excessivo. Confie mais nas métricas fora da amostra: o MAPE em um período reservado e a validação cruzada de séries temporais.

Examine também os resíduos: eles devem se parecer com ruído, sem tendência ou sazonalidade remanescente.

Estimativas pontuais podem enganar. MMMs bayesianos apresentam intervalos de credibilidade; os frequentistas apresentam intervalos de confiança. Um canal cujo intervalo inclui zero não é confiavelmente positivo.

Apresente faixas às partes interessadas para que as decisões levem em conta quanto o modelo realmente sabe.

Além do total do período, analise as contribuições semana a semana. Isso revela se o efeito de um canal é constante, pontual ou está desaparecendo.

Picos alinhados aos períodos de veiculação aumentam a confiança; contribuições que aparecem sem investimento sugerem vazamento de uma variável de controle ausente.

A validação mais forte consiste em comparar o incremento de um canal no MMM com um experimento geográfico aleatorizado ou um experimento de aumento de conversões.

Se o MMM indicar que o ROAS da pesquisa é 5, mas um teste geográfico indicar 3, recalibre o modelo, muitas vezes usando uma informação a priori. Modelos que coincidem com os experimentos ganham credibilidade para os canais que nunca foram testados.

Desconfie de um modelo com sinais implausíveis, uma base pequena demais, ROIs que contradizem as referências, intervalos amplos apresentados como certeza ou um ótimo ajuste dentro da amostra, mas um ajuste fraco no período reservado.

Interpretar um MMM exige tanto ceticismo quanto aritmética.

Aplique a distinção entre médio e marginal a uma decisão de alocação.

Interprete um MMM por meio de sua decomposição (base vs incremental), do ROAS de cada canal e, principalmente, das curvas de resposta que revelam os retornos marginais.

Verifique os sinais dos coeficientes, o ajuste no período reservado, os resíduos e os intervalos de incerteza, e calibre o modelo com experimentos. As decisões devem seguir o ROI marginal, não as médias destacadas.