어느 날 대시보드 열었더니 CPA가 확 튀어 있어요. 심장이 철렁하죠. 근데 바로 손대기 전에 물어야 할 게 있어요. 이게 진짜 이상인가, 아니면 그냥 그날 노이즈인가?
매일 숫자는 원래 흔들려요
일별 성과는 항상 위아래로 출렁여요. 주말·요일 효과, 표본이 적은 날의 우연, 매체 정산 지연 같은 것들 때문에요. 이 정상 범위 안의 흔들림을 이상으로 착각하고 손대면, 오히려 학습을 리셋시켜 상황을 악화시켜요.
그래서 "튀었다"의 기준이 필요해요. 감이 아니라.
이상의 기준: 평소 대비 얼마나 벗어났나
간단한 방법은 이동 평균 ± 표준편차 밴드예요. 최근 N일의 평균과 변동폭을 기준으로, 오늘 값이 그 밴드를 벗어나면 "이상 후보"로 잡는 거죠. 밴드 안이면 그냥 평소 흔들림이에요.
이렇게 하면 "CPA가 어제보다 20% 올랐다"에 반응하는 게 아니라, "평소 변동폭을 넘어섰다"에만 반응하게 돼요. 대부분의 헛손질이 여기서 걸러져요.
이상이 맞다면, 다음은 분해
진짜 이상이 확인되면 원인을 쪼개요. 성과가 변했을 땐 크게 두 가지예요.
- 물량 때문인가: 지출·노출이 늘거나 줄어서
- 효율 때문인가: 전환율·단가가 나빠져서
이걸 섞어 보면 "CPA가 올랐다"까지만 알고 끝나요. 성과 변동 분해(PVM)로 채널·캠페인·소재 단위로 물량효과와 효율효과를 나눠 보면 "어느 채널의 효율이 빠져서 전체가 나빠졌다"까지 짚여요.
어디서 보냐면
운영 대시보드의 이상탐지 탭이 튀는 날을 자동으로 잡아주고, 성과 변동 탐지가 그 원인을 무잔차로 분해해줘요. CSV만 있으면 돼요.
정직하게
이상탐지는 "여기 이상해 보여요"를 알려줄 뿐, 원인을 증명하진 않아요. 밴드를 벗어난 날에도 외부 요인(경쟁사 프로모션, 시즌)이 섞일 수 있으니, 숫자는 조사 시작점으로만 쓰고 맥락을 같이 보세요.