"이거 A/B로 검증하시죠."
말은 쉽죠. 근데 매번 못 돌리잖아요. 저만 그런가요?
예산이 작아서 한 소재당 판단할 만큼 안 쌓이거나, 애초에 소재가 세 개뿐이거나, 매체가 균등 배분을 안 해줘서 한 소재가 노출을 다 먹어버리거나. 저는 세 개 다 겪어봤어요.
그러다 결국 "이번엔 그냥 감으로 가죠" 하고 넘어가는데, 그게 반복되면 제작 가이드가 검증 안 된 규칙으로 채워집니다.
우선 결론부터 말할게요.
실험을 못 돌릴 땐 이미 집행한 소재의 속성을 데이터로 만들어서 비교하면 돼요. 대신 이건 확정용이 아니라 방향을 좁히는 용도입니다.
✔ 준비물은 소재 속성 표 하나예요
소재 하나가 한 행이에요.
| creative_id | 썸네일_인물 | 제목_숫자포함 | 길이초 | CTR |
|---|---|---|---|---|
| cr_001 | 1 | 0 | 15 | 0.021 |
| cr_002 | 0 | 1 | 30 | 0.014 |
속성은 0/1이나 숫자로 넣으시면 됩니다.
여기서 하나만 지켜주세요. 판단이 아니라 사실을 기록하는 거예요.
"잘 만든 썸네일"은 열이 될 수 없어요. 그건 이미 성과를 알고 나서 붙인 라벨이거든요. "인물이 있다/없다"는 됩니다. 누가 봐도 같은 값이 나오니까요.
이 구분이 생각보다 중요해요. 저도 처음에 "임팩트 있는 후킹" 같은 열을 만들었다가, 나중에 보니 성과 좋은 소재에만 1이 찍혀 있더라고요. 그거 분석하면 당연히 "임팩트 있는 후킹이 좋다"가 나오죠. 아무 의미 없는 결과예요.
✔ 단순 평균 비교로는 왜 부족할까요
인물 들어간 썸네일의 평균 CTR이 더 높다고 해볼게요. 그럼 인물을 넣으면 되겠네요?
근데 인물 썸네일을 주로 짧은 영상에 썼다면요? 그 차이는 인물 때문일 수도 있고 길이 때문일 수도 있어요. 데이터만 봐서는 구분이 안 됩니다.
여러 속성을 한꺼번에 넣고 비교하면 다른 속성을 같은 수준으로 맞췄을 때의 차이가 나와요. 길이가 같은 소재끼리 놓고 봐도 인물이 여전히 차이를 만드는지, 그게 확인되는 거죠.
콘텐츠 요소 분석이 이 계산을 해주고, 소재 피로도 분석은 같은 데이터로 언제 갈아야 하는지까지 봐줍니다.
✔ 여기서 놓치기 쉬운 게 조합 효과예요
속성을 각각 보면 결론이 이렇게 나와요. "인물 썸네일이 좋다." "짧은 영상이 좋다."
그래서 인물 넣고 짧게 만들면 되겠네요? 그런데 실제로는 인물 썸네일이 짧은 영상에서만 잘 먹히는 경우가 있어요. 긴 영상에서는 오히려 인물이 없는 게 나을 수도 있고요.
이걸 조합 효과라고 하는데, 두 축을 교차한 표에서 칸별 성과를 보면 드러납니다.
| 짧은 영상 | 긴 영상 | |
|---|---|---|
| 인물 있음 | 2.4% | 1.1% |
| 인물 없음 | 1.5% | 1.4% |
이런 모양이면 각 축을 따로 골라서는 안 돼요. 조합 단위로 골라야 합니다. "인물+짧게"는 좋지만 "인물+길게"는 최악이니까요. 축별 결론만 보고 가이드를 쓰면 정확히 반대로 갈 수도 있어요.
✔ 결과를 제작 가이드로 옮길 때 세 가지
신뢰구간이 0을 걸치면 안 씁니다. 방향조차 확정 안 된 상태예요. "일단 참고만" 하고 가이드에 넣으면 그게 그냥 규칙이 돼요.
표본 적은 속성은 뺍니다. 세 개 소재에만 있던 속성은 그 세 개의 다른 특성을 반영할 뿐이에요.
상위 한두 개만 실험으로 넘깁니다. 전부를 가이드로 만들면 검증 안 된 규칙이 쌓여요. 그게 1년 지나면 아무도 왜 그런지 모르는 제작 룰이 됩니다.
✔ 이건 확정이 아니라 후보 선정이에요
한 번 더 강조할게요. 배분 알고리즘이 반응 좋은 소재에 노출을 몰아주면, 그 소재의 속성이 실제보다 좋아 보입니다.
그래서 이 분석의 역할은 다음에 뭘 실험할지 정하는 것이에요. 후보를 두세 개로 좁혀서 실험 분석으로 넘기면, 적은 예산으로도 확정할 수 있는 질문이 됩니다.
"소재 다섯 개 다 검증해주세요"는 불가능하지만 "인물 썸네일만 짧은 영상에서 검증해주세요"는 되거든요. 관측 분석이 하는 일이 딱 이 변환이에요.
✔ 오늘 딱 하나만 해보세요
지금 돌아가는 소재 목록을 열고, 속성 열 세 개만 뒤에 붙여보세요. 사실만요.
썸네일에 인물이 있나 / 제목에 숫자가 있나 / 몇 초짜리인가. 10분이면 됩니다. 지금 있는 소재만 채워도 다음 주에 비교해볼 수 있어요.
정리하신 CSV를 올려보시면 속성별 기여랑 구간을 같이 잡아주고, 표본 얇은 속성은 정직하게 표시해줍니다. 데이터는 브라우저 안에서만 돌고 서버로 안 나가요.
A/B를 못 돌리는 게 분석을 못 한다는 뜻은 아니에요. 다만 나온 답의 등급이 다를 뿐이죠.