오가닉 vs 페이드 카니발리제이션 분석
유료 광고로 잡힌 install의 일부는 사실 광고가 없어도 organic으로 들어왔을 사용자다. 이를 측정·보정하지 않으면 ROAS가 과대 평가된다.
카니발리제이션은 유료 광고가 organic install을 잠식하는 현상. 진짜 incremental install을 측정하는 표준 방법은 (1) Geo Holdout 실험, (2) Causal Impact 모델링 두 가지. 큰 광고 채널은 분기 1회 incrementality 측정 필수.
§1카니발리제이션 측정 모델
관찰된 paid install 중 진짜 증가분(incremental)의 비율 = iROAS = incremental_revenue / cost. 일반 ROAS와 iROAS의 차이가 클수록 카니발 비중이 높다.
| 지표 | 정의 | 측정 방식 |
|---|---|---|
| Apparent ROAS | 매체 어트리뷰션 기반 ROAS | Adjust 일반 리포트 |
| Incremental ROAS | 광고가 없으면 일어나지 않았을 매출만 측정 | GeoX 또는 Holdout |
| Carbon Tax | 카니발 비율 | 1 - (iROAS / ROAS) |
§2GeoX (Geographic Experiment)
- 국가/지역을 2개 그룹으로 분할 (Treatment / Control). 인구·매출 비중이 유사하도록 매칭.
- Treatment 그룹에는 평소대로 광고 노출, Control 그룹은 해당 매체/캠페인 OFF.
- 2~4주 운영 후 두 그룹의 install/revenue 차이 측정.
incremental = treatment - control_baseline
{
"experiment_name": "meta_aap_geox_2026_q2",
"duration_days": 28,
"treatment_geo": ["KR-Seoul", "KR-Busan", "KR-Incheon"],
"control_geo": ["KR-Daegu", "KR-Daejeon", "KR-Gwangju"],
"metric_primary": "d7_revenue_per_user",
"metric_secondary": "install_count",
"min_detectable_lift": 0.05,
"alpha": 0.05,
"power": 0.80
}§3Holdout (Audience / User Holdout)
GeoX가 지역 단위로 광고를 끄는 방식이라면, Holdout은 사용자 단위로 특정 비율을 광고 노출에서 제외하는 방식이다. 단일 지역 운영(예: 한국만)에서 GeoX가 불가능할 때 차선책. Meta·Google·TikTok 모두 캠페인 단위 holdout 기능을 제공한다.
3.1 매체별 Holdout 옵션
| 매체 | 기능명 | Holdout 비율 | 분석 단위 |
|---|---|---|---|
| Meta | Conversion Lift / Brand Lift | 10% / 20% / 30% 선택 | 사용자 단위 (FB ID) |
| Conversion Lift Study | 10% / 50% 선택 | Google 계정 단위 | |
| TikTok | Lift Studies | 10%~50% 자율 | Advertising ID 단위 |
| AppLovin | Incrementality Test | 캠페인 단위 OFF | Geo + 디바이스 ID |
3.2 실험 설계 — Power & Duration
holdout 그룹이 너무 작으면 통계적 유의성 확보 어려움. 일반적으로:
- 최소 holdout 크기: 일 install 1,000건 기준 holdout 비율 30% 이상 권장
- 실험 기간: 최소 4주 (week-of-day 효과 제거) — D14 매출까지 관찰
- 유의수준: α = 0.05, power = 0.80, MDE(Minimum Detectable Effect) = 5%
- 매체별 자동 power 계산 도구 활용 (Meta Conversion Lift, Google Lift Study)
{
"study_name": "meta_aap_holdout_2026_q2",
"objective": "incremental_purchase",
"test_groups": [
{ "name": "test", "split": 0.70, "exposure": "ads_on" },
{ "name": "control", "split": 0.30, "exposure": "ads_off" }
],
"duration_days": 28,
"primary_metric": "d7_revenue_per_user",
"secondary_metric": "purchase_count",
"minimum_detectable_lift": 0.05,
"alpha": 0.05,
"expected_p_value_threshold": 0.05
}3.3 GeoX vs Holdout 선택 가이드
| 조건 | 권장 방식 | 이유 |
|---|---|---|
| 단일 국가/지역 운영 | Holdout | GeoX는 지역 분할 불가 |
| 다국가 운영 + 매체 인지도 캠페인 | GeoX | 사용자 단위로 누수 위험 |
| 일 install 5000+ 대규모 캠페인 | Holdout | 사용자 단위 통계 검정력 충분 |
| 일 install 1000 미만 소규모 | GeoX 또는 Causal Impact | Holdout 검정력 부족 |
| TV·옥외 등 오프라인 매체 영향 큰 브랜드 | GeoX | 오프라인 노출이 user-level에 섞임 |
| 매체별 incremental 비교가 목적 | Holdout | 매체별 동시 실험 가능 |
§4결과 보정 (Attribution Adjustment)
- iROAS / ROAS 비율을 매체별로 산출 (Lift Factor)
- 모든 매체 ROAS에 Lift Factor 곱해서 비교 (단순 ROAS는 매체 간 직접 비교 부적합)
- 업계 평균 Lift Factor: Meta UA ≈ 0.7~0.8, Google UAC ≈ 0.6~0.75, ASA Brand ≈ 0.3~0.5 (브랜드는 카니발 비중 높음)
- Lift Factor는 6개월에 1회 재측정 — 매체 트래픽 품질·시장 상황 변화 반영
{
"as_of": "2026-05-01",
"media_lift_factors": {
"Meta_UA": { "apparent_roas": 1.85, "lift": 0.75, "iroas": 1.39 },
"Google_UAC": { "apparent_roas": 2.10, "lift": 0.68, "iroas": 1.43 },
"TikTok": { "apparent_roas": 1.60, "lift": 0.82, "iroas": 1.31 },
"ASA_Brand": { "apparent_roas": 4.20, "lift": 0.35, "iroas": 1.47 },
"ASA_Generic": { "apparent_roas": 1.95, "lift": 0.78, "iroas": 1.52 }
},
"decision": "ASA_Generic 최우선 확대, ASA_Brand는 현재 비중 유지"
}§5트러블슈팅
Brand 인지도 캠페인은 다른 지역 사용자에게도 노출(예: TV, 옥외광고). GeoX는 디지털 채널 한정. Brand 매스 캠페인은 별도의 holdout 기간(전국 OFF) 필요.
매주 install 5000+ 또는 매출 $50,000+ 이상의 규모가 안 되면 통계적 유의성 확보 어려움. 작은 캠페인은 GeoX 대신 Causal Impact (시계열 모델) 사용.
오해 금물 — 광고를 끈다고 매출이 0이 되는 게 아니다. organic·재방문·다른 매체 영향으로 baseline 매출은 유지된다. incremental = test_매출 − control_매출의 차이가 진짜 효과.
iROAS 기준으로 매체별 예산 재분배. Lift Factor가 낮은 매체(예: ASA Brand 0.35)는 절대 끄지 말고 비중만 조정 — 브랜드 키워드는 경쟁사 침투 차단 역할도 하므로 ROI 외 가치가 있다.