A/B 테스트 방법: '느낌상 B가 낫다'를 숫자로 끝내는 법

랜딩페이지 A안이랑 B안을 놓고 "음… B가 좀 더 나아 보이는데?"로 정하신 적 있으시죠? 며칠 돌려보고 전환율 높은 쪽 채택하고요. 그런데 그거, 우연일 수 있어요.

A/B 테스트는 바로 그 '느낌'을 '숫자'로 판정하는 방법이에요. 오늘은 제대로 돌리는 법이랑, 열에 아홉이 빠지는 함정 하나를 짚어볼게요. 읽고 나면 "이겼다"를 훨씬 조심스럽게 말하게 되실 거예요.

대충 돌리면 우연을 실력으로 착각해요

흔한 실수부터 볼게요. 사흘 돌려보고 B가 앞서길래 바로 B로 확정. 문제는 전환율이라는 게, 표본이 적을 땐 우연히 요동친다는 거예요. 동전을 열 번 던지면 앞면이 7번 나오기도 하잖아요. 그렇다고 "이 동전은 앞면이 잘 나온다"고 하진 않죠.

A/B 테스트를 제대로 한다는 건, 이 우연을 걷어내고 "진짜 차이인지"를 가리는 거예요.

A/B 테스트는 이렇게 생겼어요

구조는 단순해요. 방문자를 무작위로 반반 나눠서, 한쪽엔 A안, 다른 쪽엔 B안을 보여주고 전환율을 비교해요.

여기서 '무작위'가 핵심이에요. 무작위로 나누면 두 그룹은 보는 화면만 다르고 나머지 조건은 같아져요. 그래서 전환율 차이를 '화면 차이 덕분'이라고 말할 수 있는 거예요. (증분성 측정 글의 홀드아웃과 같은 논리예요. 광고 대신 화면을 바꿨을 뿐이죠.)

두 가지만 지키면 돼요

하나, 시작 전에 '필요한 표본'을 정하세요

작은 차이를 잡아내려면 표본이 더 많이 필요해요. 이걸 검정력(power, 실제로 차이가 있을 때 그걸 놓치지 않고 잡아낼 확률)이라고 해요. 테스트를 켜기 전에 "몇 명(혹은 몇 주)까지 모을지"를 먼저 정해두는 게 원칙이에요. 그래야 '적당히 이긴 것 같을 때 멈추고 싶은' 유혹을 피할 수 있어요.

둘, '유의성'으로 판정하세요

유의성은 쉽게 말해 "이 차이가 우연일 가능성이 얼마나 낮은가"예요. "통계적으로 유의하다"는 건 "우연으로 보기 어렵다"는 뜻이고요. 눈으로 4.2% vs 4.8%를 비교하는 대신, 이 차이가 우연의 범위를 벗어났는지를 봐야 진짜 판정이에요.

제일 흔한 함정 — 조기 종료(peeking)

이게 제일 많이들 당하는 함정이에요. 실험 중간에 자꾸 결과를 훔쳐보다가, B가 앞선 순간 "됐다!" 하고 멈추는 거예요.

그림처럼 초반엔 격차가 위아래로 크게 흔들려요. 3일차에 멈췄으면 "B 대승"으로 착각했겠지만, 며칠 더 두면 실제 차이(여기선 +0.4%p)로 수렴하죠. 그래서 정한 표본이 다 모이기 전엔 결과를 안 보는 게 안전해요.

그 외 흔한 함정도 짧게 짚을게요. 지표를 여러 개 늘어놓고 '이긴 것만' 골라 보기(그중 하나쯤은 우연히 이기거든요), 그리고 트래픽이 너무 적어서 애초에 판정이 안 되는 경우예요.

오늘 해볼 것

이번 주에 테스트할 것 하나만 정하세요. 그리고 켜기 전에 딱 두 개를 먼저 적어두세요. (1) 성공을 판단할 지표 하나, (2) 언제까지 모을지(표본·기간). 그리고 그 기간이 끝나기 전엔 결과를 보지 않기. 이 세 줄이 A/B 테스트의 8할이에요.

마무리

정리할게요. A/B 테스트는 '느낌'을 '숫자'로 바꾸는 일이에요. 무작위로 나누고, 표본을 미리 정하고, 유의성으로 판정하고, 중간에 훔쳐보지 않기.

z-검정이나 검정력 계산을 매번 손으로 하는 게 번거로우시면, 저희가 만든 무료 툴 A/B 실험 분석에 결과 CSV를 올려보세요. 통계적으로 이겼는지, 그리고 표본이 충분했는지까지 판독해줘요. 데이터는 브라우저 안에서만 처리되고 서버로 나가지 않고요.

마지막으로 하나. 유의하게 안 나왔다고 "B가 A랑 똑같다"는 뜻은 아니에요. '아직 확신할 만큼 못 봤다'는 뜻일 수 있어요. 이럴 땐 표본을 더 모으거나, 판단 보류가 정답일 때도 많습니다.