신규 온보딩 CTA A/B로 클릭률 +5.3%p·잔존율 +2.1%p 끌어올린 인턴 경험
약 90초
가설(개인화 동사) → 결과(표본·유의성·결과) → 개선(다른 화면 적용·다음 라운드) → 학습
인턴 4개월 마지막에 신규 가입자 온보딩 첫 화면의 CTA 버튼 A/B 테스트를 한 차례 직접 끌고 가본 경험이 있습니다. 4주에 걸쳐 약 12,000명의 신규 가입자를 두 그룹으로 나눠 진행했습니다.
가설 설정 쪽으로는, 'CTA 문구의 한 줄이 첫 화면 클릭률에 미치는 영향이 크다'는 결을 검증하고 싶었습니다. 기존 문구 '시작하기'(A안) vs 새 문구 '내 첫 카드 만들기'(B안)였고, '행동 동사+개인화 어휘'가 더 높은 클릭률을 만들 것이라는 결로 가설을 잡았습니다.
결과 도출 쪽으로는, '그룹별 표본 크기 6,000명 이상·2주 관측 기간·통계적 유의성(p<0.05) 확보'를 사전 기준으로 정하고 시작했습니다. 결과는 B안 클릭률 23.4% vs A안 18.1%(+5.3%p, p=0.003)로 통계적으로 유의했고, 30일 잔존율도 +2.1%p 함께 올라간 결이었습니다.
개선 과정 쪽으로는, 그 결을 그대로 운영에 배포한 후 다음 두 가지를 묶어 두 번째 사이클을 돌렸습니다. 첫째, '다른 화면(결제 직전 CTA·푸시 알림 카피)에도 같은 결 적용'. 둘째, 'B안의 결을 토대로 한 추가 3개 후보 문구를 새 라운드로 검증'.
가장 큰 학습은 'A/B는 답을 주는 도구가 아니라 가설을 잘게 쪼개 다음 가설로 잇는 결'이라는 점이었습니다.
이 결의 특징
결과 수치만 보고하지 않고 사전에 표본 크기와 유의성 기준을 정하고 시작한 절차를 짚는 결이다. 검증 후 다른 화면에 확장 적용한 흐름까지 이어진다.
이 결이 통하는 자리
A/B 테스트 경험을 결과 자랑으로만 답하기 쉬운 질문에서, 검증 설계의 엄밀함이 통하는 자리다.