증분성 측정 방법: 그 전환, 광고가 '만든' 걸까요 '주운' 걸까요?

우리 브랜드 이름을 검색한 사람에게 검색광고를 띄웠어요. 그 사람이 클릭해서 들어오고, 구매까지 했어요. 리포트엔 'ROAS 800%'가 찍혔고요. 뿌듯하죠.

그런데 잠깐요. 그 사람들, 광고가 없었어도 어차피 우리 사이트로 들어왔을 분들 아닐까요? 이미 우리 이름을 검색한 사람들이잖아요. 그렇다면 그 전환은 광고가 '만든' 게 아니라 '주운' 거예요. 오늘은 이 둘을 갈라내는 법, 그러니까 광고가 진짜로 만든 성과만 재는 증분성 측정을 제대로 짚어볼게요. 읽고 나면 대시보드의 ROAS를 예전처럼 곧이곧대로 믿긴 어려우실 거예요.

어트리뷰션은 '공 나누기', 증분은 '진짜 효과'

먼저 자주 헷갈리는 두 개념을 구분할게요.

어트리뷰션(기여 배분)은 이미 일어난 전환 하나를 놓고 "이건 누구 공이야?"를 나눠요. 라스트클릭이든 데이터드리븐이든, 크레딧을 채널에 배분하는 일이죠. 그런데 여기엔 못 푸는 질문이 하나 있어요.

"그 광고, 안 했으면 어땠을까?"

이걸 반사실(counterfactual, 실제로는 일어나지 않은 가정)이라고 해요. 증분은 바로 이 질문을 봐요. 식으로 쓰면 이래요.

증분 = (광고 있을 때 전환) − (광고 없었을 때 전환)

대시보드에 찍힌 전환 중 상당수는, 광고가 없었어도 발생했을 '베이스라인'일 수 있어요. 거기서 베이스라인을 걷어낸 순수한 몫이 증분입니다.

이 그림처럼요. 500건이 찍혀도 광고가 진짜 만든 건 위쪽 120건뿐일 수 있어요. 나머지 380건은 원래 올 손님이었고요. 문제는 대시보드가 이 둘을 안 갈라준다는 거예요. 500건 전부를 광고 공으로 쳐서 보여주죠.

그럼 증분은 어떻게 재나요 — 홀드아웃 실험 세 가지

핵심 아이디어는 하나예요. 광고를 '본 그룹'과 '안 본 그룹'을 비교하는 거예요. 관측만으로는 반사실을 알 수 없어요. 안 본 세상을 실제로 만들어야 하죠. 현장에서 쓰는 방법은 크게 셋이에요.

① 통제군 홀드아웃 — 제일 깨끗한 방법

유저를 무작위로 둘로 나눠요. 한 그룹엔 광고를 보여주고(노출군), 다른 그룹엔 일부러 안 보여줘요(통제군, 홀드아웃). 그리고 두 그룹의 전환율 차이를 봐요.

무작위로 나눴으니 두 그룹은 광고 노출만 빼면 조건이 같아요. 그래서 이 차이를 '광고 덕분'이라고 떳떳하게 말할 수 있어요. 실험(RCT, 무작위 대조 실험)에 가장 가까운, 인과에 제일 당당한 방법이에요. 페이스북·구글 같은 매체도 홀드아웃(Conversion Lift) 기능을 제공하고요.

② 신규 ON — 안 하던 걸 켜보기

안 돌리던 지역이나 채널을 새로 켜고, 안 켠 비슷한 지역과 비교해요. 유저 단위로 나누기 어려울 때, 통제군을 '지역'으로 잡는 방식이에요(지역 지오 실험). 예를 들어 서울·경기엔 새 캠페인을 켜고, 인구·성향이 비슷한 다른 권역은 그대로 둬서 둘을 비교하는 식이죠.

③ 종료 OFF + 이중차분(DiD)

잘 돌던 캠페인을 잠깐 꺼보고, 성과가 얼마나 빠지는지 봐요. 단, 단순 전후 비교는 위험해요. 그 사이 계절성이나 프로모션 같은 다른 변화가 섞이거든요. "껐더니 떨어졌다"가 사실은 비수기 탓일 수도 있잖아요.

그래서 **이중차분(DiD, Difference-in-Differences)**을 써요. 영향받은 그룹의 변화에서, 영향 안 받은 비교 그룹의 변화를 빼주는 거예요. 이러면 두 그룹에 공통으로 낀 계절성 같은 요인이 상쇄돼요. 순수하게 '광고를 끈 효과'만 남고요.

결과를 읽을 때 — 두 가지만 조심하세요

증분 ROAS로 다시 보면 숫자가 확 내려가요

겉보기 ROAS는 베이스라인까지 전부 광고 공으로 쳐서 부풀어 있어요. 증분만으로 다시 계산한 iROAS(증분 ROAS)는 대개 더 낮게 나와요. 그리고 그게 진실에 더 가깝습니다.

숫자 보고 겁먹으시라는 게 아니에요. 오히려 반대예요. 이 오른쪽 숫자로 봐야, 진짜 효율 좋은 곳에 예산을 몰아줄 수 있거든요.

'유의미하지 않음'은 '효과 없음'이 아니에요

증분은 보통 작은 차이라, 표본이 적으면 통계적으로 안 잡혀요. 이때 결과가 "유의하지 않음"으로 나오면, 그건 '효과가 없다'가 아니라 '아직 확신할 만큼 못 봤다'는 뜻이에요. 이 둘을 섞으면 멀쩡한 채널을 성급하게 죽이게 돼요.

표본이나 기간을 늘리거나, 그래도 안 잡히면 '판단 보류'가 정답일 때도 많아요. 관측 데이터로 방향만 빠르게 추정하는 방법(MMM 같은)도 있지만, 확정은 홀드아웃 실험으로 하는 게 원칙이에요. '연관'과 '인과'는 다르니까요.

오늘 해볼 것

제일 의심스러운 캠페인 하나만 고르세요. 보통 브랜드 검색이나 리타겟팅이 1순위예요. 이미 우리를 아는 사람에게 도는 광고라, 증분이 낮기 쉽거든요.

거기서 유저의 510%만 홀드아웃으로 빼고 24주 돌려보세요. 그 그룹이 얼마나 덜 전환하는지가, 그 캠페인의 진짜 증분이에요. 전체를 다 검증하려 하지 말고, 딱 한 캠페인부터면 충분합니다.

마무리

정리할게요. 어트리뷰션은 공을 나누고, 증분은 진짜 효과를 재요. 그리고 진짜 효과는 관측이 아니라 실험(홀드아웃)에서 나옵니다.

홀드아웃을 돌리고 나서 노출군·통제군 숫자를 손으로 비교하고 유의성까지 따지는 게 번거로우시면, 저희가 만든 무료 툴에 그 CSV를 올려보세요. 통제군 홀드아웃·신규 ON·종료 OFF(DiD) 세 방식으로 순증분과 통계적 유의성을 계산해줘요. 올린 데이터는 브라우저 안에서만 처리되고 서버로 나가지 않아서, 매체비나 매출 숫자를 외부에 올리는 부담도 없고요.

마지막으로 하나만요. 증분성은 광고를 깎아내리려는 게 아니에요. 정반대예요. 진짜로 성과를 만드는 캠페인이 어디인지 또렷이 알아야, 거기에 예산을 몰아줄 수 있잖아요. 부풀린 숫자를 걷어내는 건, 결국 잘하는 곳에 더 투자하기 위해서예요.