스크린샷을 바꾸고 2주 뒤 전환율이 올랐다면, 그건 스크린샷 덕일까요? 같은 2주 동안 광고비도 늘었고 시즌도 바뀌었다면 답은 "모른다"입니다.
스토어 전환율 분해는 어디를 볼지 좁혀 주지만 인과를 증명하지는 않아요. 변경의 효과를 확정하려면 실험이 필요합니다. 다행히 두 스토어 다 실험 기능을 제공하고, 둘 다 무료입니다.
전후 비교가 안 되는 이유
전후 비교는 "바꾸기 전"과 "바꾼 후"를 대는 방식이에요. 문제는 그 사이에 시간이 흘렀다는 것 자체입니다.
- 광고비·매체 믹스가 그대로였는지
- 시즌·요일 구성이 같았는지
- 앱 업데이트, 평점 변화, 경쟁사 프로모션이 없었는지
- 유입 소스 구성이 바뀌지 않았는지
이 중 하나만 어긋나도 그 효과가 전부 스크린샷 몫으로 잡힙니다. 특히 마지막 항목이 자주 걸려요. 소스 구성이 바뀌면 소스별 전환율이 그대로여도 전체 전환율이 움직이니까요.
스토어 실험은 같은 시점에 트래픽을 무작위로 배정해 이런 혼입을 줄입니다. 평균적으로 조건이 균형을 이루도록 하는 설계이며, 실제 배정과 측정이 정상인지도 확인해야 합니다.
두 스토어의 구조가 다릅니다
같은 "스토어 실험"이라도 애플과 구글이 재는 방식이 달라서, 결과를 같은 잣대로 놓으면 안 됩니다.
애플 PPO(Product Page Optimization). 원본 외에 최대 3개 안을 동시에 돌릴 수 있고, 최대 90일까지 집행합니다. 대상은 아이콘·스크린샷·프리뷰 영상이에요. 아이콘을 테스트하면 앱 아이콘이 실제로 기기 홈 화면에서도 바뀌기 때문에, 아이콘 실험은 다른 요소보다 신중하게 잡는 편이 좋습니다.
구글 플레이 등록정보 실험. 아이콘·스크린샷·프리뷰 영상에 더해 짧은 설명·자세한 설명까지 대상입니다. 기본·맞춤 등록정보에서 실험할 수 있습니다. 언어별 실험과 맞춤 등록정보의 국가 타기팅은 같은 설정이 아니므로 대상 등록정보와 언어를 함께 확인하세요.
트래픽 배분 비율, 승자 판정 기준, 통계 처리 방식이 서로 다릅니다. 그래서 "애플에서 이긴 안이니 플레이에도 적용"은 근거가 아니라 가설이에요. 양쪽에서 각각 돌려야 합니다.
하나씩 바꾸세요
아이콘과 스크린샷과 설명을 한 번에 바꾼 안이 이겼다면, 뭐가 이긴 건지 모릅니다. 다음에 재현할 수도 없고요.
한 번에 하나씩 바꾸는 게 원칙이지만, 실험 슬롯이 제한적이라 현실에서는 타협하게 돼요. 그럴 땐 바뀐 요소가 무엇인지 기록으로 남기고, 이긴 안을 다시 한 번 요소별로 쪼개 돌리는 순서가 낫습니다.
기간과 종료 조건
표본 규모, 탐지할 개선 폭, 요일·업무 주기를 바탕으로 기간을 정하세요. 한 주는 7일이며, 두 주를 모든 앱의 최소 기간으로 정할 근거는 없습니다. 플랫폼의 기간 추정과 판정 기준도 함께 확인하세요.
기간보다 중요한 게 종료 조건을 시작 전에 정하는 것입니다. 대시보드를 매일 보다가 "지금 앞서네" 하고 멈추면, 우연히 앞선 순간에 멈출 확률이 계속 쌓여요. 실제로는 차이가 없는데 이겼다고 판정할 위험이 그만큼 커집니다.
시작할 때 이 두 줄을 적어 두세요.
- 언제 멈출 것인가 (날짜 또는 최소 전환 수)
- 얼마나 차이가 나야 채택할 것인가
결과 읽기
신뢰구간을 먼저 봅니다. 구간이 0을 걸치면 "효과 없음"이 아니라 "아직 구분되지 않음"이에요. 이 둘은 다릅니다. 표본이 더 쌓이면 갈릴 수도 있는 상태니까요.
개선 폭을 절대값으로도 보세요. 전환율 30%에서 31%는 상대적으로 3.3% 개선이지만 절대로는 1%p입니다. 조회 10,000건 기준 설치 100건 차이예요. 이 크기가 실행 비용을 정당화하는지가 실제 판단 기준입니다.
노출 범위와 성과 지표를 구분하세요. Apple PPO 변형안은 검색 결과와 Today·Games·Apps 탭에도 나타날 수 있습니다. 따라서 검색에서의 반응이 모두 실험 밖이라고 볼 수 없습니다. 다만 다운로드 전환의 개선만으로 장기 유지율이나 매출 개선까지 결론 내릴 수는 없습니다.
실험 결과를 운영에 반영할 때
이긴 안을 적용한 뒤에도 스토어 전환 분석으로 소스별 전환율이 실제로 올라갔는지 확인하는 편이 좋아요. 실험과 운영 보고서의 노출·전환 분모가 같은지 확인하고, 운영 중 유입 구성 변화도 함께 보세요.
전환율은 그대로인데 전체 숫자가 안 좋아졌다면 같은 소스 정의와 분모를 사용했다면 믹스 변화가 전체 전환율 차이를 설명할 수 있습니다. 실험 효과의 유지 여부는 별도로 확인해야 합니다. 두 지표를 나눠 봐야 실험의 성과가 운영 노이즈에 묻히지 않습니다.
오늘 해볼 것
- 지금 스토어 페이지에서 가장 오래된 요소가 뭔지 확인하세요. 보통 스크린샷 첫 장입니다.
- 바꿀 안을 하나만 정하고, 시작 전에 종료일과 채택 기준을 적어 두세요.
- 실험 시작일을 캘린더에 남기세요. 나중에 추이를 볼 때 이 날짜가 기준이 됩니다.
이 방법의 한계
스토어 실험은 무작위 배정이라 인과 추론이 가능한 몇 안 되는 ASO 수단이에요. 하지만 만능은 아닙니다.
PPO의 노출 범위는 제품 페이지 안쪽으로 한정되지 않습니다. 그러나 그 결과만으로 키워드 순위 변화나 전체 사업 성과의 인과 효과까지 알 수는 없어요. 실험 기간에 앱 업데이트나 평점 급변이 겹치면 두 그룹 모두에 영향을 주긴 하지만 효과 크기 자체가 달라질 수 있고요.
그리고 이긴 안이 영원히 이기지는 않습니다. 계절·경쟁 환경·유입 구성이 바뀌면 판정이 뒤집힐 수 있어요. 한 번 이긴 안을 근거 없이 오래 붙들지 말고, 주기적으로 다시 검증하는 편이 안전합니다.
공식 기준: Apple PPO · Google Play experiments.