GLOSSARY · 측정·분석 방법론검정력 (Statistical Power)
실제로 효과가 있을 때 그것을 유의하다고 잡아낼 확률 — 표본이 작으면 있는 효과도 못 잡는다
한 줄로
실제로 효과가 있을 때 그 효과를 유의하다고 잡아낼 확률이 검정력입니다. 검정력이 낮으면 있는 효과도 놓쳐요.
왜 중요한가
실험 결과가 "유의하지 않음"으로 나왔을 때 두 가지 해석이 가능합니다. 정말 효과가 없거나, 효과는 있는데 표본이 부족해 못 잡았거나.
이 둘을 구분하지 않고 "효과 없음"으로 보고하면 멀쩡한 시책을 접게 됩니다. 입증책임은 비대칭이라, 효과 없음을 주장하려면 "이 정도 크기의 효과라면 잡았을 것"이라는 근거가 있어야 해요.
실험 전에 정할 것
검정력은 표본 크기, 잡으려는 효과 크기, 데이터 변동성으로 결정됩니다. 그래서 실험을 시작하기 전에 "얼마나 작은 차이까지 구분하고 싶은가"를 먼저 정하고 거기서 필요한 표본을 역산하는 게 순서예요.
전환이 적은 캠페인일수록 이 계산이 중요합니다. 홀드아웃 크기와 기간이 둘 다 커져야 하거든요.
더 깊게 보려면
표본 계획과 판정 기준은 A/B 테스트 방법에서 다룹니다.
자주 묻는 질문
유의하지 않으면 효과가 없는 건가요?
아닙니다. 검정력이 낮으면 실제로 효과가 있어도 못 잡습니다. '유의하지 않다'는 '아직 구분되지 않는다'는 뜻이고, '효과 없음'을 주장하려면 충분한 검정력이 있었다는 근거가 따로 필요합니다.
검정력은 무엇으로 결정되나요?
표본 크기, 잡으려는 효과의 크기, 데이터의 변동성 세 가지입니다. 작은 차이를 잡으려 할수록 표본이 훨씬 많이 필요하므로, 실험 전에 '얼마나 작은 차이까지 구분하고 싶은가'를 먼저 정해야 합니다.
검정력은 보통 얼마로 잡나요?
관례적으로 80%를 씁니다. 이 말은 실제로 효과가 있을 때 5번 중 4번만 잡아낸다는 뜻이고, 나머지 1번은 효과가 있는데도 유의하지 않게 나옵니다. 검정력 80%를 확보하지 않은 실험에서 나온 무유의는 효과 없음의 근거로 쓰기 어렵습니다.