성과가 떨어지면 분석 도구부터 찾기 쉽습니다. “MMM을 돌려야 하나?”, “A/B 테스트가 맞나?” 같은 질문이 먼저 나오죠. 하지만 분석 이름부터 고르면 준비한 데이터와 방법이 어긋날 수 있어요. 일별 캠페인 CSV로는 운영 변화를 빠르게 찾을 수 있지만, 그 자료만으로 광고의 순수 효과를 증명할 수는 없습니다.
첫 분석은 무엇을 결정해야 하는지, 그리고 한 행이 무엇을 뜻하는지로 고르세요. 이 두 가지가 맞으면 복잡한 모델을 먼저 돌리지 않아도 다음 행동이 보입니다.
먼저 결론: 데이터별 첫 분석
| 가진 데이터 | 먼저 답할 질문 | 첫 분석 | 다음 단계 |
|---|---|---|---|
| 일별 비용·전환 | 지금 어디가 흔들렸나 | 운영 대시보드 | 채널·기간 범위 좁히기 |
| 전후 기간의 캠페인 성과 | 왜 CPA·ROAS가 바뀌었나 | 성과 변동 분해 | 물량·효율·믹스 구분 |
| 채널별 지출이 여러 수준으로 변한 일별 데이터 | 어디까지 증액해도 되나 | 포화도 진단 | 예산 배분 |
| 대조군·실험군 집계 | 어느 안이 이겼나 | A/B 실험 분석 | 승자 적용 후 재측정 |
| 광고를 끈 지역·기간 또는 대조군 | 광고가 순증을 만들었나 | 증분 분석 | 순증 기준 예산 판단 |
| 52주 이상 주차별 채널 지출·성과 | 장기 채널 반응은 어떤가 | VIF 진단 | 공선성 통과 후 MMM |
| 검색어 리포트 | 어떤 검색어를 승격하고 CPT를 바꿀까 | ASA 키워드 발굴 | Exact·제외·입찰 조정 |
| 소재별 일별 노출·클릭·전환 | 어떤 소재가 지쳤나 | 소재 분석 | 교체·확장 후보 결정 |
이 표는 분석의 난이도 순서가 아닙니다. 현재 데이터로 답할 수 있는 질문의 순서예요. 대조군이 없다면 증분 분석을 억지로 흉내 내기보다 운영 진단부터 시작하는 편이 정직합니다.
1. 숫자가 이상하다면 대시보드부터
오늘 CPA가 뛰었거나 전환이 줄었다면 가장 먼저 모델을 돌릴 필요는 없습니다. 날짜, 비용, 설치 또는 전환만 있어도 최근 추세와 채널별 차이를 볼 수 있어요. 노출과 클릭이 있으면 CPM·CTR·전환율까지 이어서 확인할 수 있습니다.
여기서 할 일은 원인을 확정하는 게 아닙니다. 집계 지연인지, 특정 채널 문제인지, 전체 퍼널 문제인지 조사 범위를 줄이는 것입니다. 내 데이터로 시작에 CSV를 올리면 컬럼과 기간을 보고 지금 열리는 분석을 먼저 보여줍니다.
2. 전후 성과 차이는 물량·효율·믹스로 나누기
전체 CPA가 올라도 모든 채널이 나빠진 것은 아닐 수 있습니다. 상대적으로 비싼 채널의 전환 비중이 커지면 채널별 CPA가 그대로여도 전체 CPA가 오릅니다. 이때는 전후 기간의 캠페인 데이터를 물량, 효율, 믹스로 나누면 어디서 변화가 생겼는지 빠르게 좁힐 수 있어요.
변동 분해는 “무엇이 함께 바뀌었는지”를 설명합니다. 예산 이동의 원인이나 소재 변경의 인과효과까지 증명하지는 않습니다. 다음 조치는 한 번에 하나만 바꾸고 다시 비교해야 합니다.
3. 증액 질문에는 평균 CPA보다 한계효율
성과가 좋은 채널에 예산을 더 주고 싶다면 지금의 평균 CPA만 보면 위험합니다. 지출이 늘 때 추가 전환이 얼마나 따라오는지 봐야 해요. 그러려면 같은 채널 안에서도 지출이 여러 수준으로 변한 데이터가 필요합니다. 매일 거의 같은 금액을 썼다면 반응 곡선을 안정적으로 그리기 어렵습니다.
먼저 포화도를 확인하고, 증액 여지가 있는 채널만 예산 배분 시뮬레이션으로 넘기세요. “현재 효율이 좋다”와 “한 푼 더 써도 좋다”는 다른 질문입니다.
4. 인과효과는 대조군이 있을 때만 강하게 말하기
A/B 테스트와 증분 분석은 비슷해 보여도 질문이 다릅니다. A/B는 두 안의 전환율 차이를 보고, 증분 분석은 광고를 하지 않았을 때와 비교해 순수 증가분을 봅니다.
대조군이나 광고를 끈 지역·기간이 없다면 관찰 데이터만으로 “광고 때문에 늘었다”고 단정하기 어렵습니다. 이때는 상관관계와 운영 신호로 표현하고, 다음 캠페인에서 대조군을 설계하세요. 결론의 세기까지 데이터에 맞추는 것이 좋은 분석입니다.
5. MMM은 마지막 수단이 아니라 조건이 다른 분석
MMM은 무거워서 마지막에 하는 분석이 아닙니다. 주차별 채널 지출, 성과, 시즌성·프로모션 같은 변수가 충분히 길게 쌓였을 때 답할 수 있는 질문이 따로 있어요. 서비스에서는 52주 이상을 출발점으로 보지만, 기간만 길다고 충분한 것은 아닙니다. 채널 지출이 함께 움직이면 각 채널의 기여도를 분리하기 어렵습니다.
그래서 MMM 전에 VIF 진단으로 다중공선성을 확인합니다. VIF가 높으면 채널을 합치거나 기간·변수를 다시 설계한 뒤 모델로 넘어가야 해요. 숫자가 나왔다는 이유만으로 채널별 기여도를 믿으면 안 됩니다.
도구를 모를 때는 질문 세 개로 시작하세요
파일이 아직 없다면 성과 문제 진단에서 증상, 범위, 데이터 형태를 고르세요. CSV가 있다면 내 데이터로 시작이 더 빠릅니다. 컬럼 자동 매핑 → 가능한 분석 판정 → 첫 질문 추천 순서로 진행합니다. 업로드한 데이터는 서버로 보내지 않고 브라우저 안에서만 처리합니다.
분석은 복잡할수록 좋은 게 아닙니다. 지금 가진 데이터로 답할 수 있는 가장 작은 질문을 고르고, 결과가 다음 결정을 바꾸는지 확인하세요. 그다음에 더 깊은 분석으로 넘어가면 됩니다.