증분 측정 3가지 방법 비교 — 홀드아웃·온오프·ITS
광고의 증분 효과는 어떤 방법으로 측정하나요?
통제군 홀드아웃이 가장 정확합니다. 불가능하면 전후 비교나 ITS를 씁니다.
증분은 광고가 실제로 만들어낸 몫입니다. 측정 방법은 크게 셋입니다. 무작위 통제군을 두는 홀드아웃, 캠페인을 켜거나 끄고 전후를 보는 방식, 그리고 시계열 개입 분석(ITS)입니다. 정확도 순서는 분명하지만 실행 난이도도 같은 순서입니다.
한눈에 비교
| 방법 | 설계 | 인과 주장 | 필요 조건 | 주의점 |
|---|---|---|---|---|
| 통제군 홀드아웃 | 동시·무작위로 광고 노출 집단과 미노출 집단을 나눔 | 가능 | 매체의 홀드아웃 기능 또는 지역 분할 | 표본이 작으면 구간이 넓어 결론이 안 남 |
| 신규 켜기 / 종료 | 캠페인 시작·중단 전후를 비교 | 제한적 | 개입 시점과 충분한 전후 기간 | 같은 시기의 시즌·프로모션이 섞임 |
| ITS (시계열 개입) | 개입 전 추세를 연장해 반사실을 추정 | 제한적 | 개입 전 관측치 다수와 안정적 추세 | 자기상관을 보정하지 않으면 구간이 과소추정됨 |
언제 무엇을 쓰나
- 매체가 홀드아웃을 지원한다면
- 홀드아웃을 씁니다. 무작위 배정이 있어야 인과를 주장할 수 있습니다.
- 브랜드 캠페인처럼 끌 수 없는 경우
- ITS로 개입 전 추세를 연장해 비교합니다. 자기상관 보정이 필요합니다.
- 예산이 적어 통제군을 못 만들 때
- 전후 비교로 시작하되 대조군을 함께 두어 차분-차분으로 읽습니다.
- 결과가 무유의로 나왔다면
- 효과 없음으로 단정하지 않습니다. 검정력이 부족했을 가능성을 먼저 확인합니다.
자주 묻는 질문
전후 비교만으로 증분을 주장할 수 있나요?
권장하지 않습니다. 같은 기간의 시즌성·프로모션·경쟁 변화가 함께 섞이기 때문입니다. 대조군을 두고 차분-차분으로 읽으면 편향을 상당히 줄일 수 있습니다.
홀드아웃 결과가 무유의면 광고가 효과 없다는 뜻인가요?
아닙니다. 표본이 작거나 효과가 작으면 실제 효과가 있어도 탐지되지 않습니다. 신뢰구간의 폭을 함께 보고 검정력이 충분했는지 확인해야 합니다.
ITS는 몇 개의 사전 관측치가 필요한가요?
정해진 최소값은 없지만 추세와 계절성을 분리할 수 있을 만큼은 필요합니다. 사전 구간이 짧으면 반사실 추정이 불안정해지고 구간이 넓어집니다.
관련 도구
- 증분 효과 분석 | 홀드아웃·전후 비교통제군 또는 캠페인 전후 데이터를 비교해 광고가 없었어도 생겼을 성과를 제외한 순수 증분을 추정합니다.
- 브랜드 캠페인 증분 분석 | ITS·홀드아웃 연결브랜드 검색, 직접 유입, 가입의 시계열로 브랜드 캠페인 전후 증가분을 추정하고, 데이터 준비 수준에 맞는 ITS·홀드아웃 분석으로 연결합니다.
- A/B 테스트 분석 | 표본수·유의성·검정력필요 표본을 설계하고 두 그룹의 차이·신뢰구간·검정력을 함께 확인해 출시, 중단, 추가 수집을 결정합니다.