구매 전환율 개선을 위해 A/B 테스트를 어떻게 설계하고 운영할 건가요?

구매 전환율 개선 A/B 테스트를 처음 설계했을 때 가장 어려웠던 것은 무엇을 변수로 삼을지 정하는 일이었습니다. 처음엔 여러 요소를 한번에 바꾸려 했는데, 팀장님이 "한 번에 하나만 바꿔야 결과를 해석할 수 있다" 고 짚어줬습니다. 그래서 제품 상세 페이지의 CTA 버튼 문구만 변수로 설정하고, 트래픽을 50:50으로 나눠 2주 동안 실험을 돌렸습니다. 지표로는 클릭률과 최종 결제 전환율을 함께 봤는데, 클릭은 A안이 높았지만 결제로 이어지는 비율은 B안이 더 높은 흥미로운 결과가 나왔습니다. 이 경험에서 퍼널 전체를 보지 않으면 중간 지표에 속을 수 있다는 것을 배웠습니다. 결과는 B안으로 배포했고, 전환율이 기존 대비 약 8% 개선됐습니다. 이후 비슷한 실험을 설계할 때는 표본 크기를 사전에 계산해서 통계적으로 유의미한 결과가 나올 기간을 먼저 정하는 방식을 씁니다. 이 접근이 실험 결과에 대한 신뢰도를 높이는 데 가장 효과적이라고 느꼈습니다.