A/B 테스트
실험 분석
두 안의 차이가 우연인지, 다음 실험 결정을 내려도 되는지 확인합니다.
분석·보기 설정
분석 방법·옵션과 보기·다운로드 선택을 계정에 저장합니다. 예산·날짜·열 이름·데이터 값은 이 기기의 프로젝트 설정에 남습니다. 실험 조건 확인은 불러오기로 대체하지 않습니다.
로딩 중…
다음 분석에도 같은 설정 사용하기
매핑·필터·모델 옵션을 프로젝트에 보관합니다.
저장에 필요한 조건Pro기기 저장을 켠 프로젝트
실험 분석
두 안의 차이가 우연인지, 다음 실험 결정을 내려도 되는지 확인합니다.
분석·보기 설정
분석 방법·옵션과 보기·다운로드 선택을 계정에 저장합니다. 예산·날짜·열 이름·데이터 값은 이 기기의 프로젝트 설정에 남습니다. 실험 조건 확인은 불러오기로 대체하지 않습니다.
매핑·필터·모델 옵션을 프로젝트에 보관합니다.
실험을 시작하기 전에 — 얼마나 많은 표본(사람 수)을 모아야 결과를 믿을 수 있는지 계산합니다.
현재 전환율과 탐지하고 싶은 최소 lift(MDE)를 입력하면, 그룹당 필요한 샘플 사이즈가 계산됩니다.
일평균 트래픽이 5,000명이면 약 13일, 10,000명이면 약 7일의 운영이 필요합니다.
실험 시작 전에 중간 판독 횟수를 정하면, 초반에는 훨씬 엄격한 기준으로만 중단을 검토합니다. 계획 밖의 수시 확인에는 이 표를 적용하지 않습니다.
| 판독 | 목표 정보량 | 누적 표본 | |z| boundary | 이 시점 명목 p 경계 |
|---|---|---|---|---|
| 1 | 25% | 15,618 | 4.049 | < 0.0001 |
| 2 | 50% | 31,235 | 2.863 | 0.0042 |
| 3 | 75% | 46,853 | 2.338 | 0.0194 |
| 4 | 100% | 62,470 | 2.024 | 0.0429 |
계획한 모든 판독을 합친 양측 1종 오류가 입력한 α가 되도록 경계를 조정합니다. 따라서 마지막 시점의 명목 p 경계도 α보다 작을 수 있습니다. 적응형 중단·연속 모니터링·다른 지표에는 적용하지 않습니다.
예상 CPR(Cost Per Result)을 입력하면, 위 샘플 사이즈 기준 필요한 총 예산이 계산됩니다. CPR_B를 비우면 A와 동일하다고 가정합니다.
CPR A = ₩2,500 · CPR B = ₩2,500 · 그룹당 표본 = 31,235
표본 수(그룹당)가 커질수록 통계적으로 탐지 가능한 최소 효과 크기(MDE)가 줄어듭니다. baseline 전환율이 낮을수록 더 많은 표본이 필요합니다.
z = (p̂_B - p̂_A) / √(p̄(1-p̄)(1/n_A + 1/n_B)). p-value < α 시 귀무가설 기각.n = 2 × (z_α/2 + z_β)² × p̄(1-p̄) / δ²t = (μ̂_B - μ̂_A) / √(s_A²/n_A + s_B²/n_B). Welch–Satterthwaite 자유도의 Student-t 분포로 p-value와 95% 신뢰구간을 함께 계산합니다.Total Budget = n_per_arm × (CPR_A + CPR_B).