스크린샷을 바꾸고 2주 뒤 전환율이 올랐다면, 그건 스크린샷 덕일까요? 같은 2주 동안 광고비도 늘었고 시즌도 바뀌었다면 답은 "모른다"입니다.
스토어 전환율 분해는 어디를 볼지 좁혀 주지만 인과를 증명하지는 않아요. 변경의 효과를 확정하려면 실험이 필요합니다. 다행히 두 스토어 다 실험 기능을 제공하고, 둘 다 무료입니다.
전후 비교가 안 되는 이유
전후 비교는 "바꾸기 전"과 "바꾼 후"를 대는 방식이에요. 문제는 그 사이에 시간이 흘렀다는 것 자체입니다.
- 광고비·매체 믹스가 그대로였는지
- 시즌·요일 구성이 같았는지
- 앱 업데이트, 평점 변화, 경쟁사 프로모션이 없었는지
- 유입 소스 구성이 바뀌지 않았는지
이 중 하나만 어긋나도 그 효과가 전부 스크린샷 몫으로 잡힙니다. 특히 마지막 항목이 자주 걸려요. 소스 구성이 바뀌면 소스별 전환율이 그대로여도 전체 전환율이 움직이니까요.
스토어 실험은 이걸 설계로 없앱니다. 같은 시점에 들어오는 트래픽을 무작위로 갈라 서로 다른 안을 보여주기 때문에, 시즌도 광고도 요일도 두 그룹에 똑같이 걸립니다.
두 스토어의 구조가 다릅니다
같은 "스토어 실험"이라도 애플과 구글이 재는 방식이 달라서, 결과를 같은 잣대로 놓으면 안 됩니다.
애플 PPO(Product Page Optimization). 원본 외에 최대 3개 안을 동시에 돌릴 수 있고, 최대 90일까지 집행합니다. 대상은 아이콘·스크린샷·프리뷰 영상이에요. 아이콘을 테스트하면 앱 아이콘이 실제로 기기 홈 화면에서도 바뀌기 때문에, 아이콘 실험은 다른 요소보다 신중하게 잡는 편이 좋습니다.
구글 플레이 등록정보 실험. 아이콘·스크린샷·프리뷰 영상에 더해 짧은 설명·자세한 설명까지 대상입니다. 지역과 언어 단위로 나눠 돌릴 수 있어서, 특정 국가에서만 테스트하는 게 가능해요.
트래픽 배분 비율, 승자 판정 기준, 통계 처리 방식이 서로 다릅니다. 그래서 "애플에서 이긴 안이니 플레이에도 적용"은 근거가 아니라 가설이에요. 양쪽에서 각각 돌려야 합니다.
하나씩 바꾸세요
아이콘과 스크린샷과 설명을 한 번에 바꾼 안이 이겼다면, 뭐가 이긴 건지 모릅니다. 다음에 재현할 수도 없고요.
한 번에 하나씩 바꾸는 게 원칙이지만, 실험 슬롯이 제한적이라 현실에서는 타협하게 돼요. 그럴 땐 바뀐 요소가 무엇인지 기록으로 남기고, 이긴 안을 다시 한 번 요소별로 쪼개 돌리는 순서가 낫습니다.
기간과 종료 조건
요일 효과가 한 바퀴는 돌아야 하니 최소 2주가 출발점이에요. 전환이 적은 앱이면 더 길게 잡아야 합니다.
기간보다 중요한 게 종료 조건을 시작 전에 정하는 것입니다. 대시보드를 매일 보다가 "지금 앞서네" 하고 멈추면, 우연히 앞선 순간에 멈출 확률이 계속 쌓여요. 실제로는 차이가 없는데 이겼다고 판정할 위험이 그만큼 커집니다.
시작할 때 이 두 줄을 적어 두세요.
- 언제 멈출 것인가 (날짜 또는 최소 전환 수)
- 얼마나 차이가 나야 채택할 것인가
결과 읽기
신뢰구간을 먼저 봅니다. 구간이 0을 걸치면 "효과 없음"이 아니라 "아직 구분되지 않음"이에요. 이 둘은 다릅니다. 표본이 더 쌓이면 갈릴 수도 있는 상태니까요.
개선 폭을 절대값으로도 보세요. 전환율 30%에서 31%는 상대적으로 3.3% 개선이지만 절대로는 1%p입니다. 조회 10,000건 기준 설치 100건 차이예요. 이 크기가 실행 비용을 정당화하는지가 실제 판단 기준입니다.
실험이 못 보는 부분을 기억하세요. 스토어 실험은 제품 페이지에 도달한 사람만 대상으로 합니다. 그런데 아이콘은 검색 결과 목록에서도 보여요. 아이콘을 바꾸면 페이지에 도달하는 사람 수 자체가 바뀌는데, 그 효과는 실험 밖입니다. 그래서 아이콘 실험의 전체 효과는 실험이 보여주는 숫자보다 클 수도, 작을 수도 있어요.
실험 결과를 운영에 반영할 때
이긴 안을 적용한 뒤에도 스토어 전환 분석으로 소스별 전환율이 실제로 올라갔는지 확인하는 편이 좋아요. 실험은 페이지에 온 사람 기준이고, 실제 운영에서는 유입 구성이 계속 움직이니까요.
전환율은 그대로인데 전체 숫자가 안 좋아졌다면 그건 실험이 틀린 게 아니라 믹스가 움직인 거예요. 두 지표를 나눠 봐야 실험의 성과가 운영 노이즈에 묻히지 않습니다.
오늘 해볼 것
- 지금 스토어 페이지에서 가장 오래된 요소가 뭔지 확인하세요. 보통 스크린샷 첫 장입니다.
- 바꿀 안을 하나만 정하고, 시작 전에 종료일과 채택 기준을 적어 두세요.
- 실험 시작일을 캘린더에 남기세요. 나중에 추이를 볼 때 이 날짜가 기준이 됩니다.
정직하게
스토어 실험은 무작위 배정이라 인과 추론이 가능한 몇 안 되는 ASO 수단이에요. 하지만 만능은 아닙니다.
측정 대상이 제품 페이지 안쪽으로 한정되고, 키워드 순위나 검색 노출 변화는 잡지 못해요. 실험 기간에 앱 업데이트나 평점 급변이 겹치면 두 그룹 모두에 영향을 주긴 하지만 효과 크기 자체가 달라질 수 있고요.
그리고 이긴 안이 영원히 이기지는 않습니다. 계절·경쟁 환경·유입 구성이 바뀌면 판정이 뒤집힐 수 있어요. 한 번 이긴 안을 근거 없이 오래 붙들지 말고, 주기적으로 다시 검증하는 편이 안전합니다.