Aha Moment는 “리텐션이 높은 사용자가 많이 한 행동” 하나를 고르는 일이 아닙니다. 어떤 사용자가, 가입 뒤 언제까지, 몇 번 행동했을 때 장기 잔존과 가장 잘 연결되는지를 찾고, 그 행동을 유도했을 때도 효과가 나는지 실험으로 확인하는 과정이에요.
예를 들어 “친구 3명 추가”가 높은 리텐션과 함께 나타났다고 해도, 원래 의지가 높은 사용자가 친구를 더 추가했을 수 있습니다. 후보를 찾는 단계에서는 연관을, 온보딩·광고에 적용하기 전에는 인과를 구분해야 합니다.
Aha Moment, Aha Event, 리텐션은 어떻게 다를까
- 리텐션: 사용자가 일정 시간이 지난 뒤에도 돌아와 가치 행동을 하는 결과 지표
- Aha Moment: 사용자가 제품 가치를 체감했다고 볼 수 있는 행동·시점·횟수의 조합
- Aha Event: Aha Moment를 측정·분석·광고 최적화에 쓰도록 이벤트로 정의한 것
좋은 후보는 “한 번의 기능 사용”보다 실행 가능한 조건으로 말할 수 있어야 합니다. 예를 들어 가입 후 3일 안에 친구 3명 추가, 첫 주에 콘텐츠 5개 저장, 첫 세션에 결제수단 등록처럼요. 행동만 알고 시점과 횟수를 모르면 온보딩 설계에 쓰기 어렵습니다.
먼저 필요한 데이터: 사용자 한 명당 한 행
후보 분석에는 사용자 단위 데이터가 필요합니다. 최소 열은 다음과 같아요.
| 열 | 예시 | 쓰는 이유 |
|---|---|---|
user_id |
u10001 |
사용자 중복 제거와 행동 연결 |
| 타깃 0/1 | retained_d30=1 |
장기 잔존 또는 목표 달성 여부 |
| 초기 행동 횟수 | invite_d3=3 |
행동별·기간별 후보 비교 |
| 선택 차원 | 채널, OS, 국가 | 특정 집단에만 나타나는 편향 확인 |
타깃은 D30 리텐션만 고집할 필요는 없습니다. 제품의 가치 주기에 맞춰 D7 리텐션, 첫 결제, 유료 전환처럼 정의할 수 있어요. 단, 타깃이 되는 기간보다 먼저 일어난 행동만 후보에 넣어야 합니다. purchase_d30을 예측하면서 D30 이후 이벤트를 넣으면 미래 정보를 섞는 오류가 생깁니다.
행동·시점·횟수를 함께 비교하세요
후보 탐색은 보통 다음 조합을 비교합니다.
행동 × 관찰 기간 × 최소 횟수
예를 들어 친구 추가 행동이면 D1 안에 1회, D3 안에 3회, D7 안에 5회를 각각 봅니다. 같은 행동도 너무 이르면 가치 경험 전일 수 있고, 너무 늦으면 온보딩에서 유도하기 어려울 수 있어요.
다섯 가지 지표를 같이 보는 이유
| 지표 | 답하는 질문 | 단독 사용의 함정 |
|---|---|---|
| 도달률·표본 수 | 이 조건을 충족한 사용자가 충분한가? | 높아도 리텐션을 가르지 못할 수 있음 |
| Lift | 조건 충족자의 리텐션이 전체 평균보다 얼마나 높은가? | 희귀 행동이 과장될 수 있음 |
| Precision | 이 조건을 충족한 사람 중 실제 잔존자가 많은가? | 너무 좁은 후보를 고를 수 있음 |
| Recall | 잔존자 중 이 조건을 충족한 사람이 많은가? | 모든 사람 행동을 후보로 고를 수 있음 |
| F1 | Precision과 Recall의 균형이 맞는가? | 유도 가능성·인과를 보장하지 않음 |
Lift가 높은데 표본이 12명이라면 운영 우선순위로 쓰기 어렵습니다. 반대로 도달률은 높지만 모든 사용자가 하는 앱 열기 같은 행동은 남은 사용자와 이탈 사용자를 가르지 못합니다. F1은 Precision과 Recall의 균형을 보므로 후보 비교에 유용하지만, 원인 증명은 아닙니다.
예시 데이터: Lift만 보고 고르면 생기는 문제
다음은 전체 D30 리텐션 20%를 기준으로 한 예시 데이터입니다. Lift는 소수 첫째 자리로 반올림했습니다.
| 후보 조건 | D30 리텐션 | 전체 대비 Lift | 도달률 | 해석 |
|---|---|---|---|---|
| 3일 안에 친구 3명 추가 | 42% | 2.1배 | 28% | 실험할 우선 후보 |
| 첫 주에 콘텐츠 5개 저장 | 39% | 2.0배 | 8% | 신호는 강하지만 도달률 개선 가능성 확인 |
| 첫날 앱 열기 | 20% | 1.0배 | 94% | 흔하지만 구분력이 약함 |
| 첫 주에 결제수단 등록 | 70% | 3.5배 | 1% | 매우 희귀. 표본·유도 비용부터 확인 |
여기서 “첫 주 결제수단 등록”은 Lift가 가장 높아 보여도 1%만 도달합니다. 모든 신규 사용자에게 이 행동을 요구하는 것이 제품 가치와 맞는지, 실제로 도달률을 올릴 수 있는지, 표본이 충분한지를 확인해야 해요. 반면 친구 3명 추가는 신호와 도달률을 함께 만족하므로 실험 우선순위가 높습니다.
편향과 역인과를 먼저 의심하세요
아래 상황에서는 Aha 후보가 쉽게 과장됩니다.
- 결과 행동: 결제 후에만 가능한 행동을 결제 리텐션의 원인처럼 쓰는 경우
- 선택 편향: 원래 의지가 높은 사용자가 핵심 기능도 많이 쓰고 오래 남는 경우
- 채널 편향: 리텐션이 높은 오가닉 사용자가 특정 행동을 더 많이 하는 경우
- 작은 표본: 극소수 사용자에서만 높은 Lift가 보이는 경우
- 과적합: 수많은 행동·횟수 조합 중 우연히 가장 높은 하나만 고른 경우
그래서 학습 데이터에서 좋았던 후보가 별도 홀드아웃에서도 유지되는지 확인해야 합니다. 학습 F1은 높은데 홀드아웃 F1이 크게 떨어지면, 일반화되지 않는 신호일 수 있어요.
후보 발견 뒤에는 실험으로 넘어가세요
- 후보 정의: 행동·기간·횟수·타깃을 한 문장으로 고정합니다.
- 유도 방법 설계: 튜토리얼, 빈 상태, 알림, 메시지 중 제품 경험을 해치지 않는 방법을 고릅니다.
- 실험 설계: 무작위로 나눈 실험군과 대조군에서 후보 행동 도달률과 D7·D30을 함께 봅니다.
- 판정: 후보 행동만 늘고 리텐션이 늘지 않았다면 Aha가 아니라 대리 지표일 수 있습니다.
- 적용: 검증된 이벤트만 Aha Event로 광고 최적화하거나 팀의 활성화 보조지표로 운영합니다.
광고 최적화에 바로 쓰기 전에도 확인할 점이 있습니다. 이벤트가 너무 드물면 매체 학습 신호가 부족하고, 너무 흔하면 구매·리텐션과 구분력이 약할 수 있어요. 이벤트 설계와 매체 전달은 이벤트 택소노미 설계, 인과 검증은 A/B 테스트 방법에서 이어서 확인하세요.
Aha Moment 분석 체크리스트
- 타깃 리텐션 또는 전환의 기준일을 정했다.
- 후보 행동이 타깃보다 먼저 발생했는지 확인했다.
- 행동, 기간, 최소 횟수를 함께 정의했다.
- Lift와 함께 도달률·표본·Precision·Recall·F1을 봤다.
- 채널·OS·국가별 편향을 분리했다.
- 학습 결과와 홀드아웃 결과의 차이를 점검했다.
- 관찰된 연관과 인과를 구분했다.
- 온보딩 또는 광고 적용 전 실험 설계를 만들었다.
결론: Aha Moment는 답이 아니라 검증할 가설입니다
Aha Moment 분석의 목적은 가장 그럴듯한 행동 하나를 선언하는 일이 아닙니다. 장기 리텐션과 연결되는 초기 행동을 측정 가능한 가설로 바꾸고, 실험으로 제품·광고 의사결정을 더 잘하게 만드는 일입니다.
먼저 리텐션 코호트 분석으로 어떤 사용자 집단이 남는지 확인하세요. 그다음 사용자별 이벤트 CSV에서 행동 후보를 찾고, 핵심 가치 발굴 도구로 행동·기간·횟수·표본을 함께 비교하세요.