한 줄로

**홀드아웃 테스트(Holdout Test)**는 유저·지역을 무작위로 두 그룹으로 나눠, 한쪽(홀드아웃)에는 광고를 아예 노출하지 않고 다른 쪽과 성과를 비교하는 실험이에요.

왜 필요한가

관측 데이터만으로는 "광고 덕분에 전환이 늘었다"를 증명 못 해요. 광고를 노출한 그룹과 전혀 안 한 그룹을 직접 비교해야 인크리멘탈리티(증분)를 진짜로 확인할 수 있어요.

두 그룹의 전환율 차이가 거의 없으면, 그 광고의 증분이 없다는 강한 증거예요 — 카니발라이제이션이 크다는 뜻일 수 있어요. 차이가 뚜렷하면 그 광고가 진짜 성과를 만들고 있다는 뜻이에요.

홀드아웃 테스트를 실제로 설계하고 읽는 법은 증분성 측정 글에서 다룹니다.