MMM 읽기

적합된 MMM은 계수, 기여도 차트, 반응 곡선, 적합도 통계를 제공합니다. 이를 올바르게 해석하면 수학적 결과를 예산 의사결정으로 전환할 수 있습니다.

이 단원에서는 분석가가 모델을 신뢰하기 전에 실제로 꼼꼼히 살펴보는 출력 결과를 설명합니다.

핵심 출력은 전체 기간의 총매출을 기본 매출과 각 채널의 증분 기여로 나눕니다.

다음과 같이 해석하십시오. 판매된 전체 수량 중 어차피 발생했을 수량은 얼마이고(기본 매출), 각 채널이 추가한 수량은 얼마인가를 보는 것입니다. 각 부분의 합은 실제 매출과 일치해야 합니다.

채널의 증분 매출을 지출로 나누면 ROI(또는 ROAS)를 얻을 수 있습니다. 이는 채널 간 성과를 비교할 수 있는 공통 기준입니다.

평균 ROI(전체 기간)와 한계 ROI(다음 1달러의 수익)의 차이에 주의하십시오. 배분 의사결정은 한계 수치에 달려 있습니다.

포화 때문에 평균 ROI가 높은 채널도 이미 거의 한계에 도달해 다음 1달러의 수익은 적을 수 있습니다.

한계 ROI는 현재 지출 수준에서 반응 곡선의 기울기입니다. 평균 ROI가 아니라 한계 ROI가 가장 높은 채널로 예산을 재배분하십시오.

각 채널의 반응 곡선은 지출에 따른 증분 매출을 나타냅니다. 초반의 가파른 구간은 효율적이고, 평평한 구간은 포화된 상태입니다.

곡선에서 현재 지출 수준을 찾으십시오. 평평한 부분에 있다면 추가 예산이 낭비됩니다. 가파른 부분에 있다면 아직 확대할 여지가 있습니다.

먼저 부호가 타당한지 확인하십시오. 미디어 계수는 양수, 가격은 일반적으로 음수, 프로모션은 양수여야 합니다. 음의 TV 계수는 다중공선성이나 모델 오류를 의미합니다.

계수의 크기는 통계적 유의성만이 아니라 사전분포와 벤치마크에 비추어 타당해야 합니다.

결정계수는 표본 내 적합도를 보여 주지만, 값이 높다고 해서 과적합이 없다는 뜻은 아닙니다. 홀드아웃 기간의 MAPE와 시계열 교차 검증처럼 표본 외 지표를 더 신뢰하십시오.

잔차도 살펴보십시오. 남은 추세나 계절성 없이 잡음처럼 보여야 합니다.

점 추정치는 오해를 불러일으킬 수 있습니다. 베이지안 MMM은 신용 구간을, 빈도주의 MMM은 신뢰 구간을 보고합니다. 어떤 채널의 구간이 0을 가로지른다면 해당 채널의 긍정적 효과를 신뢰하기 어렵습니다.

의사결정에 모델이 실제로 알고 있는 수준이 반영되도록 이해관계자에게 범위로 제시하십시오.

기간 전체의 합계뿐 아니라 주별 기여도도 확인하십시오. 이를 통해 채널의 효과가 꾸준한지, 특정 시점에 급증하는지, 아니면 약해지는지를 알 수 있습니다.

광고 집행 기간과 맞물린 급증은 신뢰도를 높이지만, 지출이 없는데도 기여도가 나타난다면 누락된 통제 변수의 영향이 새어 나온 것일 수 있습니다.

가장 강력한 검증 방법은 MMM이 추정한 채널 상승 효과를 무작위 지역 실험이나 전환 상승 효과 실험과 비교하는 것입니다.

MMM이 검색 ROAS를 5라고 하고 지역 실험이 3이라고 한다면 보정하십시오. 사전분포를 사용하는 방법이 흔히 활용됩니다. 실험하지 않은 채널에서도 실험 결과와 일치하는 모델은 신뢰를 얻습니다.

부호가 타당하지 않거나, 기본 매출이 지나치게 작거나, ROI가 벤치마크와 크게 어긋나거나, 넓은 구간을 확실한 결과처럼 제시하거나, 표본 내 적합도는 훌륭하지만 홀드아웃 성과가 나쁜 모델은 신뢰하지 마십시오.

MMM을 읽는 일은 산술만큼이나 회의적으로 검토하는 과정입니다.

예산 배분 의사결정에 평균 ROI와 한계 ROI의 차이를 적용해 보십시오.

MMM은 분해 결과(기본 매출과 증분 매출), 채널별 ROAS, 특히 한계 수익을 보여 주는 반응 곡선을 통해 해석하십시오.

계수의 부호, 홀드아웃 적합도, 잔차, 불확실성 구간을 확인하고 실험 결과를 기준으로 보정하십시오. 의사결정은 대표적인 평균값이 아니라 한계 ROI를 따라야 합니다.