면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
A/B 테스트에서 저는 테스트 목적에 따라 지표를 다르게 봅니다. 랜딩페이지 문구 테스트라면 클릭률(CTR)을, 구매 유도 캠페인이라면 전환율을 핵심 지표로 삼되, 보조적으로 이탈률이나 체류시간도 함께 확인해 단순히 클릭만 늘고 실제 관심으로 이어지지 않는 「가짜 성과」를 걸러냅니다. 학교 홍보 콘텐츠 프로젝트에서 두 가지 썸네일로 클릭률 테스트를 했을 때, 클릭률이 높았던 안이 오히려 평균 체류시간은 짧아 실제로는 낚시성에 가까웠다는 것을 함께 지표를 봤기 때문에 발견할 수 있었습니다.
A/B 테스트를 설계할 때 가장 중요하게 고려하는 요소는 충분한 표본 크기와 적정 테스트 기간입니다. 마케팅 동아리 프로젝트에서 SNS 광고 문구 두 가지를 비교했는데, 처음에는 이틀 만에 한쪽이 우세하다고 판단했다가 주말과 평일의 사용자 행동 패턴이 달라 결과가 뒤집힌 경험이 있습니다. 이후에는 최소 1~2주간 요일별 편차를 포함해 데이터를 수집한 뒤 결과를 해석하는 것을 원칙으로 삼게 됐습니다.
테스트하고 싶은 요소가 많을 때는 예상 임팩트와 실행 난이도를 기준으로 우선순위를 정하고 싶습니다. 예를 들어 버튼 색상처럼 구현이 쉽고 빠르게 결과를 볼 수 있는 요소부터 먼저 테스트해 팀의 테스트 운영 감각을 쌓고, 이후 상세페이지 전체 구조 변경처럼 임팩트는 크지만 리소스가 많이 드는 테스트로 넘어가는 방식을 구상하고 있습니다. 공모전에서 랜딩페이지를 만들 때도 CTA 버튼 문구부터 먼저 바꿔보며 작은 변화의 효과를 확인한 뒤 큰 구조를 손댔던 경험이 이 판단의 근거입니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.