A/B 테스트를 통해 제품을 고도화한 경험이 있다면 그 과정과 결과를 공유해 주세요.

A/B 테스트를 적용한 또 다른 경험은 동아리 뉴스레터의 이메일 제목 문구를 두 버전으로 나눠 오픈율을 비교한 것이었습니다. 버전 A는 '이번 달 활동 정리', 버전 B는 '5명이 선택한 이달의 포인트'처럼 숫자와 선택이라는 단어를 넣은 제목이었습니다. 결과적으로 버전 B의 오픈율이 약 22% 높게 나왔습니다. 이 결과를 해석할 때 주의한 것은 오픈율이 높다고 해서 내용이 더 좋은 것은 아니라는 점이었습니다. 클릭률과 구독 해지율도 함께 봤을 때 버전 B가 전반적으로 더 나은 결과를 보였습니다. 이 경험에서 배운 것은 하나의 지표만 보고 결론을 내면 오판할 수 있다는 것이고, 가설이 명확할수록 어떤 지표를 봐야 하는지도 명확해진다는 것이었습니다.

A/B 테스트는 숫자를 보는 것이 아니라 가설을 검증하는 과정입니다.