A/B 테스트 결과가 유의한지 어떻게 판단하나요?

예시 결론Variant A의 전환율이 6.2%로 대조군(4.4%)보다 41% 높습니다. 차이는 우연으로 보기 어렵습니다(p < 0.001).

광고를 껐을 때 성과가 얼마나 줄어드나요?

예시 결론광고를 본 그룹의 전환율은 5.99%, 광고를 막은 그룹은 5.1%입니다. 광고가 만든 순증분은 +17.5%이고, 우연으로 보기 어려운 차이입니다.

브랜드 캠페인 효과는 어떻게 측정하나요?

예시 결론캠페인 기간 브랜드 검색은 4,096건으로, 캠페인이 없었다면 예상되는 3,538건보다 558건(+15.8%) 많았습니다.

실험 지역의 변화가 대조 지역과 얼마나 다른가요?

보고서에 담기는 것실험 지역과, 비슷하게 맞춘 비교 지역의 차이 · 다른 지역에 가짜로 적용해 본 비교 · 이 규모로 잡아낼 수 있는 가장 작은 효과

실험 전 기록을 쓰면 A/B 결과를 더 정확히 볼 수 있나요?

보고서에 담기는 것실험 전 차이를 걸러 낸 효과 · 효과의 오차 범위(95%) · 줄어든 오차와 그룹 배정 점검