사이드 프로젝트에서 알림 타이밍 가설을 세우고, 2주 만에 데이터로 검증한 경험
사이드 프로젝트에서 알림 오픈율이 낮은 이유를 찾던 중 '시간대 문제일 것'이라는 가설을 세웠습니다. 오전 9시와 오후 7시 두 조건을 2주씩 비교했고, 오후 7시 발송에서 오픈율이 31%에서 47%로 올라갔습니다. 가설이 맞았고 이후 오후 발송으로 변경했습니다.
빠른 환경에서는 완벽한 실험 설계보다 작은 조건 하나를 먼저 바꿔보는 게 더 유효했습니다. 변화가 빠른 상황에서는 가설을 세우고, 최소한의 방식으로 검증하고, 결과를 반영하는 주기를 짧게 가져가는 것이 가장 효과적이라는 걸 배웠습니다.
가설이 틀렸을 때 팀에게 솔직하게 공유하는 게 처음엔 어색했지만 오히려 더 빠른 피벗으로 이어졌습니다. 틀린 가설도 결과가 있으면 자산입니다.