실험 분석
두 안의 차이가 우연인지, 다음 실험 결정을 내려도 되는지 확인합니다.
로딩 중…
분석 결과는 여기까지아래는 다음 단계와 참고 자료입니다. 분석 결과에 포함되지 않습니다.
다음 단계
효과 검증
전체 여정
A/B 테스트 결과가 유의한지 어떻게 판단하나요?
신뢰구간이 0을 포함하는지 보고 표본이 충분했는지 함께 확인합니다.
판단 기준과 FAQ필요할 때만 펼쳐보세요
설계 기준과 판독 규칙 보기
언제 써야 하나
소재·랜딩·오퍼를 비교하기 전 표본을 설계할 때, 이미 끝난 테스트의 결과를 판정할 때, 기간을 더 돌려야 할지 결정할 때 사용합니다. 그룹별 노출(또는 방문)과 전환 수만 있으면 계산할 수 있습니다.
무엇을 확인하나
관측된 차이(lift)와 신뢰구간, 그 차이를 탐지할 검정력을 함께 봅니다. 신뢰구간이 0을 걸치면 '차이 없음'이 아니라 '현재 표본으로는 판단 불가'이며, 이 구분이 잘못된 종료 결정을 막습니다.
결과를 어떻게 쓰나
유의하고 실질 효과 크기도 충분하면 적용하고, 판단 불가면 필요한 추가 표본과 예상 기간을 확인해 계속할지 중단할지 정합니다. 실험 중 매일 들여다보며 유의해지는 순간 멈추면 거짓 양성이 크게 늘어납니다.
자주 묻는 질문
유의하지 않으면 효과가 없는 건가요?
아닙니다. 표본이 부족해 탐지하지 못했을 수 있습니다. '효과 없음'을 주장하려면 충분한 검정력이 확보됐다는 근거가 따로 필요합니다.
결과가 좋아 보이면 일찍 끝내도 되나요?
권장하지 않습니다. 유의해지는 시점에 중단하면 우연한 변동을 승리로 확정하기 쉬워 거짓 양성이 늘어납니다. 설계한 표본을 채우는 편이 안전합니다.
A/B와 증분 분석은 무엇이 다른가요?
A/B는 두 안 중 무엇이 나은지를 비교하고, 증분 분석은 광고 자체가 없었어도 생겼을 성과를 제외한 순수 기여를 추정합니다. 목적이 다르므로 도구도 분리돼 있습니다.