우리 브랜드명을 검색한 사람에게 검색광고를 띄웠어요. 그 사람이 클릭해서 들어오고, 구매까지 했어요. 리포트엔 'ROAS 800%'가 찍혔고요. 뿌듯하죠.
그런데 잠깐, 혹시 그 사람들, 광고가 없었어도 어차피 우리 사이트로 들어오지 않았을까요? 이미 우리 브랜드명을 검색한 사람들이잖아요. 그렇다면 그 전환은 광고가 '만든' 게 아니라 '주운' 거예요. 오늘은 이 둘을 갈라내는 법, 그러니까 광고가 진짜로 만든 성과만 재는 증분성 측정을 살펴봅시다. 읽고 나면 대시보드의 ROAS를 예전처럼 곧이곧대로 믿긴 어려우실 거예요. 그리고 이 불신이 더 다양한 분석으로 가는 길입니다.
어트리뷰션은 '공 나누기', 증분은 '진짜 효과'
먼저 자주 헷갈리는 두 개념을 구분할게요. 인크리멘탈 뜻을 찾는 경우도 보통 광고가 실제로 더 만든 순증분, 즉 인크리멘탈리티를 묻는 것입니다.
어트리뷰션(기여 배분)은 이미 일어난 전환 하나를 놓고 "이건 어느 채널의 공인지"를 나눠요. 라스트클릭이든, 퍼스트클릭이든 발생한 크레딧을 채널에 배분하는 일이죠. 그런데 여기엔 못 푸는 질문이 하나 있어요.
"그 광고, 안 했으면 어땠을까?"
이걸 반사실(counterfactual, 실제로는 일어나지 않은 가정)이라고 해요. 증분은 바로 이 질문을 봐요. 식으로 쓰면 이래요.
증분 = (광고 있을 때 전환) − (광고 없었을 때 전환)
대시보드에 찍힌 전환 중 상당수는, 광고가 없었어도 발생했을 '베이스라인'일 수 있어요. 거기서 베이스라인을 걷어낸 순수한 몫이 증분입니다.
이 그림처럼요. 마케팅을 통해 발생한 전환이 500건이어도 광고가 진짜 만든 건 위쪽 120건뿐일 수 있어요. 나머지 380건은 원래 올 손님이었고요. 문제는 대시보드가 이 둘을 안 갈라준다는 거예요. 500건 전부를 광고 공으로 쳐서 보여주죠.
그럼 증분은 어떻게 재나요 — 홀드아웃 실험 세 가지
광고를 처음 켰어도 단순 전후 차이만으로 증분을 알 수는 없습니다. 같은 시기의 수요·프로모션·추적 변경을 분리할 비교 설계가 필요해요. 다음 세 방식은 무작위 홀드아웃 또는 추가 가정을 요구하는 준실험이며, 이름만으로 인과 타당성이 확보되지는 않습니다.
핵심 아이디어는 하나예요. 광고를 '본 그룹'과 '안 본 그룹'을 비교하는 거예요. 관측만으로는 반사실을 알 수 없어요. 안 본 세상을 실제로 만들어야 하죠. 현장에서 쓰는 방법은 크게 셋이에요.
① 통제군 홀드아웃 — 제일 깨끗한 방법
유저를 둘로 나눠요. 한 그룹엔 광고를 보여주고(노출군), 다른 그룹엔 일부러 안 보여줘요(통제군, 홀드아웃). 그리고 두 그룹의 전환율 차이를 봐요.
핵심은 사전에 무작위 배정하고 배정 단위로 비교하는 것입니다. 실제 광고를 본 사람만 골라 비교하면 선택 편향이 생길 수 있어요. 배정 균형·교차 노출·추적 누락·단위 중복을 확인하고, 타당한 설계 아래에서 전환율 차이와 구간을 해석하세요. 매체의 Conversion Lift도 각 제품의 설계·대상 조건을 확인해야 합니다.
매체 홀드아웃의 결과는 해당 연구에 포함된 캠페인·대상·기간의 효과 추정입니다. 광고 전체의 효과로 자동 확장할 수는 없어요. 신규·기존 유저 중 어느 쪽에 적합한지는 실험의 대상과 측정 가능성에 따라 결정합니다.
② 신규 ON — 안 하던 걸 켜보기
안 돌리던 지역이나 채널을 새로 켜고, 안 켠 비슷한 지역과 비교하는 겁니다. 유저 단위로 나누기 어려울 때 혹은 마케팅 채널의 순수 유입 증분을 보기 위해 자주 사용합니다. 예를 들어 서울·경기엔 새 캠페인을 켜고, 인구·성향이 비슷한 다른 권역은 그대로 둬서 둘을 비교하는 식이죠. 유럽 같은 경우는 비슷한 국가끼리 비교하기도 합니다. 미국은 주별로 묶기가 더 쉽습니다. 여기서 중요한 점은 노출군과 통제군의 트렌드가 비슷해야 한다는 점입니다. 다만 한국의 경우 서울 혹은 경기의 유저가 너무 집중되어 있어서 더 세밀한 타겟팅이 필요합니다. 이는 필연적으로 추가적인 데이터 준비 리소스 + 마케팅 효율 감소를 가져온다는 점이 단점입니다. 그래서 정말 최후의 방법은 3번입니다.
③ 종료 OFF + 이중차분(DiD)
잘 돌던 캠페인을 잠깐 꺼보고, 성과가 얼마나 빠지는지 보는 겁니다. 생각보다 단순하지만 강력한 수단입니다. 종료해보고 얼마나 감소하는지, 그리고 다시 켜보고 얼마나 증가하는지를 양방향으로 알 수 있습니다.
단, 단순 전후 비교는 위험해요. 그 사이 계절성이나 프로모션 같은 다른 변화가 섞이거든요. "껐더니 떨어졌다"가 사실은 비수기 탓일 수도 있잖아요.
이중차분(DiD, Difference-in-Differences)은 개입 집단의 변화에서 비교 집단의 변화를 뺍니다. 개입이 없었다면 두 집단의 추세가 평행했을 것이라는 가정과, 차별적인 동시 변화·파급·선행 반응이 없다는 조건이 필요해요. 사전 추세가 비슷하다는 사실만으로 이 가정이 증명되지는 않으며, 조건이 깨지면 광고 중단 효과만 남는다고 말할 수 없습니다.
만약 이 지점이 번거롭다면 회귀분석을 통해서 계절성을 추출해 현재 상태로 유지했을 때의 성과 예측치를 미리 계산해두고, 캠페인을 종료했을 때 그 예측치 대비 얼마나 떨어졌는지를 계산하면 됩니다. 다만 회귀분석을 할 수 있어야 하고, 그 회귀분석의 결과값에 대한 신뢰가 어느 정도 형성되어 있어야 합니다.
결과를 읽을 때 — 두 가지만 조심하세요
증분으로 다시 보면 성과가 확 내려갈 수 있어요
같은 지출에서 증분 매출이 귀속 매출보다 작다면 iROAS는 낮아집니다. 반면 양의 증분 전환이 귀속 전환보다 작다면 iCPA(지출 ÷ 증분 전환)는 높아집니다. 예를 들어 지출 100만 원·귀속 전환 100건·증분 전환 25건이면 CPA는 1만 원, iCPA는 4만 원입니다. 증분 전환이 0 이하이거나 구간이 0을 가로지르면 이를 안정적인 양의 비용 지표로 읽지 마세요. 귀속과 증분의 크기 순서는 측정 범위에 따라 달라질 수 있습니다.
숫자 보고 겁먹으시라는 게 아니에요. 오히려 반대예요. 이 오른쪽 숫자로 봐야, 진짜 효율 좋은 곳에 예산을 몰아줄 수 있거든요. 그러면 비즈니스의 방향이 확 달라집니다.
'유의미하지 않음'은 '효과 없음'이 아니에요
증분은 보통 작은 차이라, 표본이 적으면 통계적으로 안 잡혀요. 이때 결과가 "유의하지 않음"으로 나오면, 그건 '효과가 없다'가 아니라 '아직 확신할 만큼 못 봤다'는 뜻이에요. 이 둘을 섞으면 멀쩡한 채널을 성급하게 죽이게 돼요.
사전 계획한 판독 시점에서는 구간과 실무상 의미를 확인하고, 추가 실험은 새 표본·기간·종료 규칙을 정한 뒤 진행하세요. 구분할 수 없다면 '판단 보류'가 정답일 때도 많아요. 관측 데이터로 방향만 빠르게 추정하는 방법(마케팅 믹스 모델링 같은)도 있지만, 확정은 홀드아웃 실험으로 하는 게 원칙이에요. '연관'과 '인과'는 다르니까요.
오늘 해볼 것
제일 의심스러운 캠페인 하나만 고르세요. 보통 브랜드 검색이나 리타겟팅이 1순위예요. 이미 우리를 아는 사람에게 도는 광고라, 증분이 낮기 쉽거든요. 알아서 들어올 사람들일 수 있죠. 아니면 예산도 올렸고 전환도 자꾸 늘어난다고 하는데, 비즈니스의 성장이 보이지 않았던 채널이 있나요? 그렇다면 그 채널을 의심해보세요. 전체를 다 검증하려 하지 말고, 딱 한 캠페인부터면 충분합니다.
홀드아웃을 실제로 설계하고 결과를 읽는 절차는 광고 업리프트 측정에 더 자세히 있고, 화면이나 소재처럼 광고 밖의 변화를 검증할 때는 A/B 테스트 방법이 같은 논리를 씁니다.
마무리
정리할게요. 어트리뷰션은 공을 나누고, 증분은 진짜 효과를 재요. 그리고 진짜 효과는 관측이 아니라 실험에서 나옵니다.
그런데 만약 홀드아웃을 돌리고 나서 노출군·통제군 숫자를 손으로 비교하고 유의성까지 따지는 게 번거로우시면, 제가 만든 홀드아웃 테스트 툴을 이용해보세요. 통제군 홀드아웃·신규 ON·종료 OFF(DiD) 세 방식으로 순증분과 통계적 유의성을 계산해줘요. 올린 데이터는 브라우저 안에서만 처리되고 서버로 나가지 않아서, 매체비나 매출 숫자를 외부에 올리는 부담도 없고요.
진짜 마지막으로 하나만요. 증분성은 광고를 깎아내리려는 게 아니에요. 진짜로 성과를 만드는 캠페인이 어디인지 또렷이 알아야, 거기에 예산을 몰아줄 수 있잖아요. 부풀린 숫자를 걷어내는 건, 결국 잘하는 곳에 더 투자하기 위해서예요. 그러니 망설이지 말고 각 캠페인의 민낯을 살펴봐봅시다!