가설 → 지표 선택 → 실험 설계 순서
약 91초
검증 가능한 가설부터 만드는 절차 설명
데이터 기반 가설 실험에서 제가 먼저 하는 것은 가설을 측정 가능한 형태로 다듬는 것입니다. '유저가 이 기능을 좋아한다'는 가설은 실험 설계를 할 수 없지만, '이 버튼을 누른 사용자가 구매까지 이어지는 비율이 다른 버튼보다 높다'는 형태로 만들면 측정할 수 있습니다.
UX 수업 팀 프로젝트에서 앱 온보딩 흐름 개선 A/B 테스트를 설계했습니다. 기존 흐름과 단순화된 흐름을 비교하여 3일 유지율 차이를 지표로 잡았는데, 결과적으로 단순화된 쪽이 11% 높게 나왔습니다. 실패는 샘플 크기를 너무 작게 잡아서 통계적으로 유의미한지 확인을 못 한 것이었는데, 이후 실험 설계 전에 샘플 크기 계산을 먼저 하는 습관을 만들었습니다.
가설 실험은 '확인하고 싶은 것'을 '측정할 수 있는 것'으로 번역하는 작업이라고 생각합니다. 그 번역이 잘 되어야 실험도 의미가 있습니다.
이 결의 특징
유저가 좋아한다는 검증 불가능한 가설을 버튼 클릭 후 구매 전환율이라는 측정 가능한 형태로 바꾼 흔적이 있습니다. 샘플 크기를 작게 잡아 유의성을 확인 못 한 실패까지 담겨 있습니다.
이 결이 통하는 자리
확인하고 싶은 것을 측정할 수 있는 것으로 번역하는 구체적 과정이 살아 있을 때 통합니다. 실험 전 샘플 크기 계산 습관이 실패에서 나올 때 통하는 결이 보입니다.