사이드 프로젝트에서 온보딩 메시지를 다르게 바꿔보는 실험을 주도하고, 결과를 측정한 경험
사이드 프로젝트에서 가입 후 서비스를 쓰지 않고 이탈하는 사용자가 많은 문제를 발견했습니다. 첫 화면 안내 문구를 바꾸면 달라질 것 같다는 가설을 세우고, 기존 버전과 새 버전을 5명에게 각각 보여주는 간단한 실험을 했습니다. 너무 작은 샘플이라 통계적 의미는 없었지만, 5명 중 4명이 새 버전에서 더 빠르게 다음 단계로 넘어갔습니다. 이를 바탕으로 새 버전을 배포했더니 첫 주 이탈률이 15% 낮아졌습니다. 실험은 완벽한 조건보다 빠르게 가설을 검증하는 것이 중요하다는 걸 그때 배웠습니다.
완벽한 조건보다 빠르게 가설을 검증하는 것이 중요하다는 걸 배웠고, 이후에도 작은 실험을 먼저 시도합니다.