캠페인은 다 좋아졌는데 왜 전체 전환율은 떨어졌을까?

주간 리포트를 정리하다 보면 이상한 표를 만날 때가 있습니다. 캠페인별로 보면 전환율이 전부 올랐는데, 맨 아래 합계 줄의 전환율은 떨어져 있습니다. 계산 실수가 아닙니다. 통계에서는 이 현상을 심슨의 역설이라고 부르고, 광고 운영에서는 생각보다 자주 일어납니다.

이 글은 그 표를 어떻게 읽어야 하는지, 그리고 전체 변화를 "캠페인 사이 물량 이동"과 "캠페인 안의 변화"로 나눠 보고서에 쓰는 방법을 정리합니다.

숫자로 먼저 보기: 둘 다 올랐는데 전체는 떨어졌습니다

설치 후 첫 결제까지 이어진 비율(결제 전환율)을 캠페인 두 개로 비교해 보겠습니다. A는 전환이 잘 되는 브랜드 검색, B는 새 사용자를 넓게 찾는 확장 캠페인입니다.

A는 10.0%에서 11.0%로, B는 2.0%에서 2.5%로 올랐습니다. 그런데 전체는 8.4%에서 4.6%로 거의 절반이 됐습니다.

왜 이런 일이 생기나: 평균의 무게가 바뀌었습니다

전체 전환율은 캠페인별 전환율을 설치 비중으로 가중평균한 값입니다. 1주차에는 설치의 80%가 전환율 10%짜리 A에서 나왔습니다. 2주차에는 설치의 75%가 전환율 2.5%짜리 B에서 나왔습니다.

각 캠페인의 성적은 좋아졌지만, 전체 평균을 계산할 때 낮은 쪽에 실리는 무게가 훨씬 커졌습니다. 그래서 전체 숫자만 보면 "전환이 무너졌다"로 읽히고, 캠페인별로만 보면 "모두 개선됐다"로 읽힙니다. 둘 다 사실이고, 어느 한쪽만 보고하면 절반만 말하는 셈입니다.

이런 구조는 결제 전환율에만 있지 않습니다. 앱스토어 전환율이 유입 소스 비중 때문에 떨어지는 경우는 앱스토어 전환율 하락 진단에서, 설치당 비용이 채널 비중 때문에 오르는 경우는 광고 성과 하락 원인 진단에서 같은 원리로 다룹니다.

변화를 세 조각으로 나눠 보세요

전체 전환율의 변화(−3.8%p)는 세 조각으로 정확히 나뉩니다. 남는 오차가 없어서 보고서에 그대로 옮겨 적을 수 있습니다.

• 물량 이동: 캠페인별 전환율이 1주차 그대로였다고 두고, 설치 비중만 바뀌었을 때의 변화
• 캠페인 안의 변화: 설치 비중이 1주차 그대로였다고 두고, 캠페인별 전환율만 바뀌었을 때의 변화
• 겹친 몫: 비중과 전환율이 함께 바뀌어서 생긴 나머지

세 열의 합계를 더하면 −4.4 + 0.9 − 0.3 = −3.8%p로 전체 변화와 같습니다. 이 예시에서는 하락 전부가 물량 이동에서 나왔고, 캠페인 안에서는 오히려 0.9%p만큼 좋아졌습니다.

계산식은 캠페인마다 물량 이동 = (2주차 비중 − 1주차 비중) × 1주차 전환율, 캠페인 안의 변화 = 1주차 비중 × (2주차 전환율 − 1주차 전환율), 겹친 몫 = 비중 변화 × 전환율 변화입니다. 캠페인이 많아도 같은 식을 줄마다 계산해 더하면 됩니다.

보고서에는 이렇게 씁니다

전체 숫자 한 줄만 적으면 읽는 사람은 캠페인 소재나 랜딩 페이지를 의심합니다. 위 예시라면 실제로 손볼 곳은 그쪽이 아닙니다.

• 피할 문장: "결제 전환율이 8.4%에서 4.6%로 하락했습니다. 원인 파악 중입니다."
• 바꾼 문장: "결제 전환율은 8.4%에서 4.6%로 떨어졌습니다. 하락분 3.8%p는 설치가 확장 캠페인 쪽으로 옮겨 간 영향(−4.4%p)이고, 두 캠페인 모두 전환율은 올랐습니다(+0.9%p)."

두 번째 문장을 읽으면 다음 질문이 바로 정해집니다. 확장 캠페인으로 설치가 옮겨 간 것이 의도한 결정이었는지, 그리고 늘어난 설치가 결제 전환율이 낮아도 남는 장사인지입니다. 설치 비중 변화와 결과를 함께 판단하는 기준은 한계 효율 기반 예산 배분을 참고하세요.

구성 변화를 의심해야 하는 신호 3가지

• 전체 지표는 크게 움직였는데 캠페인·채널별 지표는 거의 그대로이거나 반대로 움직일 때
• 같은 주에 예산 변경, 입찰 전략 변경, 신규 캠페인 시작, 매체 자동 배분 확대가 있었을 때
• 성별·연령·국가·OS처럼 사용자 구성이 다른 묶음 사이에서 물량 비율이 바뀌었을 때

세 번째는 캠페인이 아니라 사용자 특성 축에서도 같은 일이 생긴다는 뜻입니다. 예를 들어 전환율이 높은 연령대의 비중이 줄면 모든 연령대의 전환율이 그대로여도 전체는 떨어집니다. 어느 축에서 구성이 가장 크게 바뀌었는지는 축을 하나씩 바꿔 가며 같은 계산을 해 보면 드러납니다.

이 계산만으로 원인을 확정하지는 않습니다

세 조각 분해는 "어디에서 변화가 생겼는가"를 알려 주지 "왜 생겼는가"를 증명하지 않습니다. 확장 캠페인으로 물량이 옮겨 간 이유가 예산 변경인지, 매체 알고리즘인지, 시장 수요 변화인지는 운영 기록과 함께 확인해야 합니다.

또 하나 주의할 점은 표본 크기입니다. 결제가 수십 건뿐인 캠페인의 전환율 0.5%p 변화는 우연일 수 있습니다. 캠페인 안의 변화가 작게 나왔다면 "개선됐다"보다 "뚜렷한 변화가 없었다"로 쓰는 편이 정확합니다. 상관과 인과를 구분하는 방법은 상관관계와 인과관계 구분에서 더 자세히 다룹니다.

다음 주 리포트에서는 전체 지표 옆에 캠페인별 설치 비중을 함께 적어 두세요. 비중 열 하나만 있어도 심슨의 역설은 표에서 바로 보입니다. 리포트 양식은 주간 광고 성과 보고서 템플릿을 활용할 수 있습니다.