유저·지역을 무작위로 두 그룹으로 나눠 한쪽(홀드아웃)에는 광고를 아예 노출하지 않고 성과를 비교하는 실험 — 이게 홀드아웃 테스트(Holdout Test)예요. 홀드아웃과 홀드 아웃은 같은 실험을 가리킵니다.
왜 필요한가
관측 데이터만으로는 "광고 덕분에 전환이 늘었다"를 증명 못 해요. 광고를 노출한 그룹과 전혀 안 한 그룹을 직접 비교해야 인크리멘탈리티(증분)를 진짜로 확인할 수 있어요.
판단 기준
두 그룹의 점추정치가 비슷하다는 사실만으로 증분이 없다고 결론 내리면 안 됩니다. 신뢰구간이 충분히 좁고 실무상 의미 있는 효과 크기까지 배제할 때에만 "증분이 작다"는 근거가 됩니다. 구간이 0을 넓게 걸치면 표본이 부족해 아직 구분하지 못한 상태예요. 충분히 정밀한 0 근처 결과라면 카니발라이제이션이 클 가능성을 검토할 수 있습니다.
설계 체크리스트
최소 탐지 효과와 주 지표를 시작 전에 고정합니다.
홀드아웃 비중은 전환량·기간·기회비용으로 계산합니다. 플랫폼이 허용하는 범위가 곧 권장 비중은 아닙니다.
작게 잡으면 차이를 구분할 수 없고, 크게 잡으면 그만큼 매출을 포기합니다. 목표는 '기대하는 크기의 효과를 구분할 수 있는 최소 크기'이고, 전환이 적은 캠페인일수록 홀드아웃과 기간이 모두 커져야 합니다.
홀드아웃 테스트는 얼마나 돌려야 하나요?
구매 주기보다 길게 잡아야 합니다. 전환이 며칠 뒤에 일어나는 상품인데 일주일만 돌리면 노출 그룹의 성과가 아직 안 익은 상태로 비교됩니다. 종료 시점은 시작 전에 정하고 중간 결과로 바꾸지 마세요.
홀드아웃 없이 증분을 잴 수는 없나요?
전후 비교나 시계열 기준선으로 추정할 수는 있지만, 같은 기간의 다른 변화를 분리하지 못합니다. 추정치로 쓰되 인과로 단정하지 않는 것이 안전합니다.
홀드아웃 결과는 어떻게 읽나요?
두 그룹의 전환율 차이가 업리프트입니다. 노출 그룹이 8%, 홀드아웃이 5%면 업리프트는 3%p입니다. 다만 신뢰구간이 0을 걸치면 효과 없음이 아니라 아직 구분되지 않는다는 뜻입니다. 홀드아웃 비중은 고정된 정답이 아니라 최소 탐지 효과, 전환량, 기간과 기회비용으로 정합니다.