Membaca MMM

MMM yang telah dilatih memberikan koefisien, grafik kontribusi, kurva respons, dan statistik kecocokan. Membacanya dengan baik mengubah matematika menjadi keputusan anggaran.

Pelajaran ini membahas hasil yang benar-benar ditelaah analis sebelum mempercayai sebuah model.

Hasil utama membagi total penjualan menjadi dasar dan kontribusi inkremental setiap saluran selama periode tersebut.

Bacalah sebagai berikut: dari seluruh unit yang terjual, berapa yang akan tetap terjual (dasar) dan berapa yang ditambahkan oleh setiap saluran. Jumlah seluruh bagian harus sesuai kembali dengan penjualan aktual.

Bagi pendapatan inkremental suatu saluran dengan belanjanya untuk mendapatkan ROI (atau ROAS). Inilah ukuran pembanding antar-saluran.

Perhatikan perbedaan antara ROI rata-rata (seluruh periode) dan ROI marjinal (dana tambahan berikutnya). Keputusan alokasi bergantung pada angka marjinal.

Karena adanya kejenuhan, saluran dengan ROI rata-rata tinggi mungkin hampir mencapai batasnya, sehingga dana tambahan berikutnya hanya menghasilkan sedikit.

ROI marjinal adalah kemiringan kurva respons pada tingkat belanja saat ini. Alokasikan ulang ke saluran dengan ROI marjinal tertinggi, bukan ROI rata-rata tertinggi.

Kurva respons setiap saluran menggambarkan penjualan inkremental terhadap belanja. Bagian awal yang curam efisien; bagian yang datar menunjukkan kejenuhan.

Temukan belanja saat ini pada kurva. Jika Anda berada di bagian yang datar, anggaran tambahan terbuang. Jika berada di bagian yang curam, masih ada ruang untuk berkembang.

Periksa kewajaran tanda terlebih dahulu. Koefisien media seharusnya positif; harga biasanya negatif; promosi positif. Koefisien TV yang negatif menandakan kolinearitas atau kesalahan model.

Besarnya koefisien harus masuk akal jika dibandingkan dengan pengetahuan awal dan tolok ukur, bukan hanya signifikan secara statistik.

R-kuadrat menunjukkan kecocokan dalam sampel, tetapi nilai yang tinggi dapat berarti model terlalu disesuaikan. Lebih percayai metrik di luar sampel: MAPE pada periode data sisihan dan validasi silang deret waktu.

Periksa juga residu: residu seharusnya tampak seperti gangguan acak tanpa tren atau pola musiman yang tersisa.

Estimasi titik bisa menyesatkan. MMM Bayesian melaporkan interval kredibilitas; model frekuentis melaporkan interval kepercayaan. Saluran yang intervalnya melintasi nol tidak dapat dianggap positif secara andal.

Sajikan rentang kepada pemangku kepentingan agar keputusan mempertimbangkan seberapa banyak informasi yang benar-benar diketahui model.

Selain total periode, lihat kontribusi dari minggu ke minggu. Hal ini menunjukkan apakah dampak suatu saluran stabil, berupa lonjakan, atau memudar.

Lonjakan yang selaras dengan periode penayangan meningkatkan keyakinan; kontribusi yang muncul tanpa belanja menunjukkan kebocoran dari variabel kontrol yang hilang.

Validasi terkuat adalah membandingkan peningkatan saluran menurut MMM dengan eksperimen geografis acak atau eksperimen peningkatan konversi.

Jika MMM menyatakan ROAS Penelusuran sebesar 5, tetapi pengujian geografis menyatakan 3, lakukan kalibrasi ulang, sering kali melalui distribusi awal. Model yang sesuai dengan hasil pengujian layak dipercaya untuk saluran yang belum pernah diuji.

Jangan percayai model dengan tanda yang tidak masuk akal, dasar yang terlalu kecil, ROI yang menyimpang dari tolok ukur, interval lebar yang disajikan sebagai kepastian, atau kecocokan dalam sampel yang sangat baik tetapi hasil yang buruk pada data sisihan.

Membaca MMM membutuhkan sikap skeptis sekaligus kemampuan aritmetika.

Baca MMM melalui dekomposisinya (dasar vs inkremental), ROAS per saluran, dan terutama kurva respons yang menunjukkan imbal hasil marjinal.

Periksa tanda koefisien, kecocokan pada data sisihan, residu, dan interval ketidakpastian, lalu lakukan kalibrasi terhadap pengujian. Keputusan mengikuti ROI marjinal, bukan rata-rata utama.