브랜드 검색 캠페인의 CPA가 계속 좋아요. 리타겟팅도 전환을 많이 잡습니다. 그런데 예산을 늘린 만큼 전체 매출이나 신규 고객이 늘지 않는다면, 리포트의 전환 중에는 광고가 없어도 생겼을 전환이 섞여 있을 수 있습니다.
이때 필요한 질문은 “이 광고가 몇 건을 가져왔나”가 아니라 **“이 광고가 없었다면 몇 건이 사라졌을까”**예요. 그 차이가 광고 업리프트, 즉 순수 증가분입니다.
업리프트는 전환 수가 아니라 두 세계의 차이입니다
광고를 본 그룹의 전환율이 8%, 광고를 보지 않은 홀드아웃 그룹이 5%라면, 절대 업리프트는 3%p이고 홀드아웃 대비 상대 업리프트는 60%입니다. 서로 다른 단위이므로 보고서에서 %p와 %를 바꿔 쓰면 안 됩니다. 이 차이가 광고가 추가로 만든 성과의 후보예요.
업리프트 = 노출 그룹 전환율 − 홀드아웃 그룹 전환율
중요한 전제는 두 그룹이 광고 노출 여부를 빼면 같아야 한다는 점입니다. 그래서 무작위로 나눈 홀드아웃이 가장 강합니다. 지역·기간 전후 비교도 쓸 수 있지만, 계절성·프로모션·가격 변화가 섞일 위험을 더 크게 봐야 합니다.
CPA·ROAS가 좋아도 업리프트를 봐야 하는 이유
CPA와 ROAS는 광고를 접한 사람의 전환을 기준으로 계산됩니다. 원래 구매할 생각이 있던 사람에게 광고가 마지막으로 노출됐다면, 그 전환도 광고 성과로 잡히죠. 특히 아래 캠페인은 먼저 의심할 만합니다.
- 브랜드 검색: 이미 브랜드를 찾던 수요를 광고가 가져갔을 수 있습니다.
- 리타겟팅: 장바구니·방문 이력이 있는 고의도 유저가 많습니다.
- 쿠폰·프로모션 막바지 집행: 광고보다 할인 자체가 전환을 만들었을 수 있습니다.
- 자연 유입이 강한 앱·서비스: 오가닉 전환을 유료가 재구매했을 가능성이 있습니다.
이런 캠페인의 CPA가 좋다는 것은 운영 효율의 신호일 수는 있어도, 증액 근거는 아닙니다. 업리프트와 iROAS까지 봐야 “더 쓰면 사업 성과가 늘어나는가”에 답할 수 있어요.
홀드아웃 테스트를 설계하는 순서
1. 하나의 결정을 먼저 고르세요
“브랜드 검색을 계속 켤까”, “리타겟팅 예산을 20% 늘릴까”처럼 실제로 바꿀 결정을 한 개만 고릅니다. 목표 지표도 설치·가입·구매 중 하나로 고정해요. 중간에 목표를 바꾸면 결과가 유리한 쪽으로 해석되기 쉽습니다.
2. 노출군과 홀드아웃을 나눕니다
가능하면 매체의 Conversion Lift나 유저 단위 랜덤 홀드아웃을 사용하세요. 그게 어렵다면 지역·오디언스·캠페인 단위의 비교군을 남깁니다. 이때 두 그룹이 실험 전부터 비슷한 추세였는지 확인해야 합니다.
홀드아웃 비중은 관행적인 숫자로 정하지 않습니다. 최소 탐지 효과, 평소 전환율, 가능한 기간과 광고를 포기하는 기회비용을 함께 놓고 계산해야 해요. 전환 지연이 긴 상품은 실험 종료 뒤에도 결과가 익는 관측창을 남겨야 합니다.
3. 성공 기준을 시작 전에 적습니다
시작 전에 최소한 아래 네 가지를 문서로 남겨두세요.
| 항목 | 예시 |
|---|---|
| 주 지표 | 신규 구매 전환율 |
| 최소 기대 효과 | +1.0%p 업리프트 |
| 관측 기간 | 2주 |
| 다음 행동 | 신뢰구간이 양수면 예산 +10%, 아니면 추가 수집 |
이 기준이 없으면 결과를 본 뒤 “이번에는 예외”라는 말이 늘어납니다.
4. 전환율 차이와 절대 증가를 함께 봅니다
업리프트가 +1%p라도 대상이 1만 명이면 약 100건의 추가 전환, 100만 명이면 약 1만 건일 수 있어요. 퍼센트만 보지 말고 실제 추가 전환 수와 비용을 같이 계산해야 합니다. 그다음에는 관찰 전환이 아니라 증분 기준으로 iCPA·iROAS를 다시 계산합니다.
결과를 이렇게 읽으세요
| 결과 | 해석 | 다음 행동 |
|---|---|---|
| 신뢰구간이 양수 | 광고가 추가 성과를 만들었다는 근거가 있음 | 작은 폭으로 증액하고 재검증 |
| 차이는 양수지만 유의하지 않음 | 효과가 없다는 뜻이 아니라 표본이 부족할 수 있음 | 기간·표본을 늘리거나 판단 보류 |
| 0 근처 또는 음수 | 현재 설계에서 증분 근거가 약함 | 예산 확대를 멈추고 타겟·채널 역할 재검토 |
“유의하지 않음”을 “효과 없음”으로 번역하면 안 됩니다. 작은 효과를 잡을 표본이 없었을 수도 있고, 실험 기간에 외부 변화가 컸을 수도 있어요. 반대로 p값만 통과했다고 큰 증액을 결정하는 것도 위험합니다. 절대 증가분과 iROAS가 실제 사업 기준을 넘는지 함께 봐야 해요.
홀드아웃이 어려울 때의 대안
처음 시작하는 캠페인이라면 신규 ON 전후와 유사한 비교군을 볼 수 있습니다. 이미 돌던 캠페인이라면 짧은 종료 OFF와 이중차분(DiD)을 검토할 수 있어요. 둘 다 무작위 홀드아웃보다 약한 설계입니다. 그래서 전후 변화만으로 “광고 효과가 확실하다”고 말하기보다, 비교군의 추세와 기간 중 이벤트를 함께 공개해야 합니다.
관측 데이터에서 우선순위를 찾는 데는 MMM이 도움 될 수 있습니다. 다만 MMM의 기여도는 가설이고, 예산을 크게 움직일 결정은 홀드아웃이 확인하는 역할 분담이 안전합니다.
마무리
업리프트는 광고를 깎아내리는 지표가 아닙니다. 실제로 성과를 만든 캠페인에 더 자신 있게 투자하기 위한 기준이에요. CPA가 좋은 캠페인부터 무조건 늘리기보다, “광고가 없으면 사라질 전환이 얼마나 되는가”를 먼저 보세요.
노출·홀드아웃 숫자가 있거나, 신규 ON·종료 OFF 데이터를 갖고 있다면 증분 분석 도구에서 세 방식에 맞춰 바로 계산할 수 있습니다. 원본 데이터는 브라우저 밖으로 전송되지 않습니다.