A/B 테스트를 통해 어떤 노출과 인터랙션이 효과적인지 검증한 경험이 있나요? 어떤 결과를 도출했는지 설명해 주세요.

인턴 4개월 마지막에 신규 가입자 온보딩 첫 화면의 CTA 버튼 A/B 테스트를 한 차례 직접 끌고 가본 경험이 있습니다. 4주에 걸쳐 약 12,000명의 신규 가입자를 두 그룹으로 나눠 진행했습니다.

가설 설정 쪽으로는, 'CTA 문구의 한 줄이 첫 화면 클릭률에 미치는 영향이 크다'는 결을 검증하고 싶었습니다. 기존 문구 '시작하기'(A안) vs 새 문구 '내 첫 카드 만들기'(B안)였고, '행동 동사+개인화 어휘'가 더 높은 클릭률을 만들 것이라는 결로 가설을 잡았습니다.

결과 도출 쪽으로는, '그룹별 표본 크기 6,000명 이상·2주 관측 기간·통계적 유의성(p<0.05) 확보'를 사전 기준으로 정하고 시작했습니다. 결과는 B안 클릭률 23.4% vs A안 18.1%(+5.3%p, p=0.003)로 통계적으로 유의했고, 30일 잔존율도 +2.1%p 함께 올라간 결이었습니다.

개선 과정 쪽으로는, 그 결을 그대로 운영에 배포한 후 다음 두 가지를 묶어 두 번째 사이클을 돌렸습니다. 첫째, '다른 화면(결제 직전 CTA·푸시 알림 카피)에도 같은 결 적용'. 둘째, 'B안의 결을 토대로 한 추가 3개 후보 문구를 새 라운드로 검증'.

가장 큰 학습은 'A/B는 답을 주는 도구가 아니라 가설을 잘게 쪼개 다음 가설로 잇는 결'이라는 점이었습니다.