실험을 시작하기 전에 — 얼마나 많은 표본(사람 수)을 모아야 결과를 믿을 수 있는지 계산합니다.

§1모드 선택

테스트 유형

통화

§2① 테스트 시작 전 모수 계산

현재 전환율과 탐지하고 싶은 최소 lift(MDE)를 입력하면, 그룹당 필요한 샘플 사이즈가 계산됩니다.

현재 전환율 (%) · baseline예: 5% = 5

탐지할 최소 lift (%) · MDE (relative)예: baseline 대비 10% 상승 = 10

유의수준 α

검정력 (Power)

그룹당 필요 샘플

31,235

2그룹 합산

62,470

기대 전환율 A → B

5.00% → 5.50%

z_α/2 + z_β

1.960 + 0.842

일평균 트래픽이 5,000명이면 약 13일, 10,000명이면 약 7일의 운영이 필요합니다.

예산 계산기

예상 CPR(Cost Per Result)을 입력하면, 위 샘플 사이즈 기준 필요한 총 예산이 계산됩니다. CPR_B를 비우면 A와 동일하다고 가정합니다.

예상 CPR · Arm A (₩)전환 1건당 비용

예상 CPR · Arm B (₩, 선택)CPR이 다른 변형 운영 시

Arm A 예산

₩78,087,500

Arm B 예산

₩78,087,500

총 필요 예산

₩156,175,000

CPR A = ₩2,500 · CPR B = ₩2,500 · n_per_arm = 31,235

§3MDE vs Sample Size 파워 커브

표본 수(그룹당)가 커질수록 통계적으로 탐지 가능한 최소 효과 크기(MDE)가 줄어듭니다. baseline 전환율이 낮을수록 더 많은 표본이 필요합니다.

현재 전환율 (%) · baseline

유의수준 α

검정력 (Power)

§4통계 노트

Binary (CVR) · z-test: z = (p̂_B - p̂_A) / √(p̄(1-p̄)(1/n_A + 1/n_B)). p-value < α 시 귀무가설 기각.
Binary · Sample Size: n = 2 × (z_α/2 + z_β)² × p̄(1-p̄) / δ²
Continuous · Welch: z = (μ̂_B - μ̂_A) / √(s_A²/n_A + s_B²/n_B). n > 30 per arm일 때 정확.
Bayesian: Binary 전용. 사전 Beta(1,1). 사후 Beta(1+x, 1+n-x). Monte Carlo 10,000 sim.
예산 계산: Total Budget = n_per_arm × (CPR_A + CPR_B).
파워 커브: sample size 기준으로 역산(이분 탐색)하여 탐지 가능한 최소 MDE 도출.

로딩 중…

§2① 테스트 시작 전 모수 계산

현재 전환율과 탐지하고 싶은 최소 lift(MDE)를 입력하면, 그룹당 필요한 샘플 사이즈가 계산됩니다.

현재 전환율 (%) · baseline예: 5% = 5

탐지할 최소 lift (%) · MDE (relative)예: baseline 대비 10% 상승 = 10

유의수준 α

검정력 (Power)

그룹당 필요 샘플

31,235

2그룹 합산

62,470

기대 전환율 A → B

5.00% → 5.50%

z_α/2 + z_β

1.960 + 0.842

일평균 트래픽이 5,000명이면 약 13일, 10,000명이면 약 7일의 운영이 필요합니다.

예산 계산기

예상 CPR(Cost Per Result)을 입력하면, 위 샘플 사이즈 기준 필요한 총 예산이 계산됩니다. CPR_B를 비우면 A와 동일하다고 가정합니다.

예상 CPR · Arm A (₩)전환 1건당 비용

예상 CPR · Arm B (₩, 선택)CPR이 다른 변형 운영 시

Arm A 예산

₩78,087,500

Arm B 예산

₩78,087,500

총 필요 예산

₩156,175,000

CPR A = ₩2,500 · CPR B = ₩2,500 · n_per_arm = 31,235

§3MDE vs Sample Size 파워 커브

표본 수(그룹당)가 커질수록 통계적으로 탐지 가능한 최소 효과 크기(MDE)가 줄어듭니다. baseline 전환율이 낮을수록 더 많은 표본이 필요합니다.

현재 전환율 (%) · baseline

유의수준 α

검정력 (Power)

§4통계 노트

Binary (CVR) · z-test: z = (p̂_B - p̂_A) / √(p̄(1-p̄)(1/n_A + 1/n_B)). p-value < α 시 귀무가설 기각.

Binary · Sample Size: n = 2 × (z_α/2 + z_β)² × p̄(1-p̄) / δ²

Continuous · Welch: z = (μ̂_B - μ̂_A) / √(s_A²/n_A + s_B²/n_B). n > 30 per arm일 때 정확.

Bayesian: Binary 전용. 사전 Beta(1,1). 사후 Beta(1+x, 1+n-x). Monte Carlo 10,000 sim.

예산 계산: Total Budget = n_per_arm × (CPR_A + CPR_B).

파워 커브: sample size 기준으로 역산(이분 탐색)하여 탐지 가능한 최소 MDE 도출.