Интерпретация MMM

Обученная модель MMM предоставляет коэффициенты, графики вкладов, кривые отклика и статистики качества подгонки. Умелая интерпретация этих результатов превращает математику в решения о бюджете.

В этом уроке рассматриваются результаты, которые аналитик действительно изучает перед тем, как довериться модели.

Главный результат разделяет общий объём продаж на базу и инкрементальный вклад каждого канала за рассматриваемый период.

Интерпретируйте это так: из всех проданных единиц сколько было бы продано и без изменений (база), а сколько добавил каждый канал. Сумма составляющих должна совпадать с фактическими продажами.

Разделите инкрементальную выручку канала на его расходы, чтобы получить ROI (или ROAS). Это сопоставимая мера для разных каналов.

Учитывайте разницу между средним ROI за весь период и предельным ROI для следующей денежной единицы. Решения о распределении бюджета зависят от предельного показателя.

Из-за насыщения канал с высоким средним ROI может быть почти полностью использован, поэтому следующая денежная единица принесёт мало.

Предельный ROI — это наклон кривой отклика при текущем уровне расходов. Перераспределяйте средства в пользу каналов с самым высоким предельным, а не средним ROI.

Кривая отклика каждого канала показывает зависимость инкрементальных продаж от расходов. Крутой начальный участок эффективен, а плоский участок означает насыщение.

Найдите текущий уровень расходов на кривой. Если Вы находитесь на плоском участке, дополнительные средства расходуются впустую. Если на крутом — есть потенциал для роста.

Сначала проверьте здравый смысл знаков. Коэффициенты медиа должны быть положительными, цена обычно отрицательной, а промоакции — положительными. Отрицательный коэффициент TV указывает на коллинеарность или ошибку модели.

Величины коэффициентов должны быть правдоподобны с учётом априорных ожиданий и ориентиров, а не только статистически значимы.

R² показывает качество подгонки на исходных данных, но высокое значение может означать чрезмерную подгонку. Больше доверяйте показателям на отложенных данных: MAPE на отложенном периоде и перекрёстной проверке по временным рядам.

Также изучите остатки: они должны выглядеть как шум, без сохраняющихся тренда или сезонности.

Точечные оценки не всегда надёжны. Байесовские модели MMM сообщают интервалы достоверности, а частотные модели — доверительные интервалы. Канал, интервал которого пересекает ноль, нельзя считать надёжно положительным.

Представляйте заинтересованным сторонам диапазоны, чтобы решения учитывали, насколько много модель действительно знает.

Помимо итогов за период, просматривайте вклады по неделям. Это показывает, является ли эффект канала стабильным, резким или затухающим.

Всплески, совпадающие с периодами размещения, повышают уверенность в результатах; вклады, появляющиеся при отсутствии расходов, указывают на утечку влияния из пропущенной контрольной переменной.

Наиболее убедительная проверка — сопоставить прирост, оценённый MMM для канала, с результатом рандомизированного геоэксперимента или эксперимента по приросту конверсий.

Если MMM показывает, что ROAS поисковой рекламы равен 5, а геотест — 3, выполните повторную калибровку, часто с помощью априорного распределения. Моделям, результаты которых совпадают с экспериментами, можно доверять и для каналов, которые ещё не тестировались.

Не доверяйте модели с неправдоподобными знаками, слишком маленькой базой, показателями ROI, противоречащими ориентирам, широкими интервалами, представленными как определённость, или отличной подгонкой на исходных данных при плохом результате на отложенных данных.

Интерпретация MMM требует не меньше скептицизма, чем арифметики.

Примените различие между средним и предельным показателями к решению о распределении бюджета.

Интерпретируйте MMM через его разложение (база и инкрементальный вклад), ROAS каждого канала и особенно кривые отклика, показывающие предельную отдачу.

Проверяйте знаки коэффициентов, качество на отложенных данных, остатки и интервалы неопределённости, а также калибруйте модель по экспериментам. Решения должны основываться на предельном ROI, а не на средних показателях в заголовках отчёта.