MMM과 증분 실험 중 무엇을 먼저 해야 하나
MMM과 증분 실험 중에 뭘 먼저 해야 하나요?
실험을 먼저 합니다. MMM은 실험이 불가능한 채널을 메우는 용도입니다.
둘은 대체재가 아니라 역할이 다릅니다. 실험은 무작위 배정으로 인과를 확인하지만 한 번에 하나씩만 볼 수 있습니다. MMM은 모든 채널을 동시에 다루지만 관측 데이터라 인과가 아닙니다. 순서를 정하자면 실험이 먼저이고, MMM은 실험할 수 없는 영역을 메웁니다.
한눈에 비교
| 기준 | 증분 실험 | MMM (마케팅 반응 회귀) |
|---|---|---|
| 근거의 성격 | 무작위 배정이면 인과 | 관측 연관 — 인과 아님 |
| 한 번에 보는 범위 | 채널 또는 캠페인 하나 | 모든 채널 동시 |
| 필요 데이터 | 실험 기간의 노출·전환 | 주 단위 채널별 지출과 결과 패널 |
| 필요 기간 | 설계에 따라 2~4주 | 최소 1년 이상 권장 |
| 못 하는 것 | 여러 채널의 상호작용 | 인과 주장, 공선인 채널 분리 |
| 결과로 하는 일 | 그 채널을 늘릴지 결정 | 예산 배분의 초안을 잡음 |
언제 무엇을 쓰나
- 채널 하나의 효과가 궁금할 때
- 실험을 씁니다. 무작위 배정이 있으면 인과를 주장할 수 있습니다.
- 전체 예산을 어떻게 나눌지 정할 때
- MMM으로 초안을 잡고 큰 이동은 실험으로 확인합니다.
- 채널 지출이 늘 같이 움직였다면
- MMM이 두 채널을 분리하지 못합니다. 다중공선성부터 점검하세요.
- 데이터가 1년 미만이라면
- MMM 대신 실험과 변동 분해로 시작하는 편이 안전합니다.
자주 묻는 질문
MMM 결과로 예산을 바로 옮겨도 되나요?
큰 이동은 권장하지 않습니다. MMM은 관측 데이터의 연관을 추정한 것이라 인과가 아닙니다. 초안으로 삼고 이동 폭이 크면 실험으로 확인한 뒤 반영하세요.
채널 계수가 음수로 나왔습니다. 잠식인가요?
대개는 아닙니다. 지출이 희소하거나 다른 채널과 공선이면 계수 부호가 불안정해집니다. 잠식으로 읽기 전에 다중공선성과 표본을 먼저 확인하세요.
실험을 못 하는 채널은 어떻게 하나요?
브랜드 캠페인처럼 끌 수 없는 채널은 ITS로 개입 효과를 추정하거나 MMM의 기여 분해로 근사합니다. 두 경우 모두 인과로 단정하지 않고 범위로 보고합니다.
관련 도구
- MMM 기여도 분석 | 채널·기본 수요 분해채널·기본 수요·이벤트의 성과 기여를 마케팅 믹스 모델로 분해합니다.
- 증분 효과 분석 | 홀드아웃·전후 비교통제군 또는 캠페인 전후 데이터를 비교해 광고가 없었어도 생겼을 성과를 제외한 순수 증분을 추정합니다.
- A/B 테스트 분석 | 표본수·유의성·검정력필요 표본을 설계하고 두 그룹의 차이·신뢰구간·검정력을 함께 확인해 출시, 중단, 추가 수집을 결정합니다.
- VIF 다중공선성 진단 | MMM 전 점검채널별 지출 CSV로 VIF와 상관관계를 확인해 MMM에서 채널 기여도를 분리할 수 있는지 먼저 점검합니다.