가설 3갈래 → 분석(퍼널·코호트·A/B) → 결과(잔존율 14→23%) → 학습(가설 수립의 본질)
인턴 4개월 동안 데이터로 가설을 수립해 검증한 사이클을 두 차례 손에 익혔습니다. 그 중 한 사례를 풀어 말씀드리겠습니다.
가설 수립 경험 쪽으로는, 본인이 본 결이 '신규 가입자의 30일 잔존율이 분기 2회 연속 떨어진 자리'였습니다. PM 팀에서 가설이 없던 자리라, 본인이 데이터로 가설을 좁히는 결을 4주 사이클로 굴렸습니다.
가설 자체는 세 갈래로 잡았습니다. 첫째, '온보딩 첫 화면의 인지 부담'. 둘째, '결제 단계의 이탈'. 셋째, '알림 빈도의 피로도'. 각각의 가설을 어떤 데이터로 검증할지 미리 표로 그려두었습니다.
데이터 분석 방법 쪽으로는, 'GA4 이벤트 로그·결제 로그·푸시 발송 로그' 세 출처를 묶고, 퍼널 분석(funnel) + 코호트 잔존율 + A/B 비교의 결로 가설을 차례로 좁혔습니다. 결국 '온보딩 3단계 중 2단계에서 56% 이탈'이 가장 큰 신호였습니다.
결과 측정 쪽으로는, 가설 검증 후 인증 7일 유예 A/B를 4주간 돌려 잔존율이 14% → 23%로 +9%p 회복한 결로 닫았습니다.
배운 점은 '가설 수립은 답을 찾는 결이 아니라, 같은 데이터에서 다음 결정을 가볍게 만드는 결'이라는 점이었습니다. 데이터는 결정을 강요하지 않고, 본인이 묻는 결에 따라 답의 폭이 정해진다고 손에 박았습니다.