이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
캡스톤 프로젝트에서 랜딩 페이지의 CTA 버튼 위치를 A/B 테스트로 비교했습니다. 두 버전을 무작위로 노출하고 클릭률과 전환율을 각각 측정했는데, 위치를 바꿨을 때 전환율이 약 18% 올라갔습니다. 중요했던 건 표본 크기가 충분해질 때까지 결과를 섣불리 해석하지 않는 것이었습니다. 초반에 한쪽이 앞서 보였는데, 기다리자 결과가 역전됐습니다.
통계적 유의성을 확보한 뒤에야 배포 결정을 내렸고, 그 기준 없이 움직이면 오히려 판단이 흐려진다는 걸 배웠습니다. 통계 기초 없이 결과만 보면 오판하기 쉽다는 걸 이 경험으로 확인했고, A/B 테스트 설계 단계부터 가설을 명확히 하는 습관이 생겼습니다. 데이터로 결정하는 과정의 엄밀함을 실무에서도 지키고 싶습니다.
A/B 테스트를 적용한 또 다른 경험은 동아리 뉴스레터의 이메일 제목 문구를 두 버전으로 나눠 오픈율을 비교한 것이었습니다. 버전 A는 '이번 달 활동 정리', 버전 B는 '5명이 선택한 이달의 포인트'처럼 숫자와 선택이라는 단어를 넣은 제목이었습니다. 결과적으로 버전 B의 오픈율이 약 22% 높게 나왔습니다. 이 결과를 해석할 때 주의한 것은 오픈율이 높다고 해서 내용이 더 좋은 것은 아니라는 점이었습니다. 클릭률과 구독 해지율도 함께 봤을 때 버전 B가 전반적으로 더 나은 결과를 보였습니다. 이 경험에서 배운 것은 하나의 지표만 보고 결론을 내면 오판할 수 있다는 것이고, 가설이 명확할수록 어떤 지표를 봐야 하는지도 명확해진다는 것이었습니다.
A/B 테스트는 숫자를 보는 것이 아니라 가설을 검증하는 과정입니다.
고객 채택을 증가시키기 위한 방법 중 A/B 테스트 외에 효과적인 것은 온보딩 흐름을 단순화하는 것입니다. 수업 프로젝트에서 만든 서비스의 초기 사용자 유지율이 낮았는데, 화면 리코딩 분석을 보니 초반 3단계에서 이탈이 집중됐습니다. 이탈 이유를 추측하기 전에 어느 단계에서 막히는지를 먼저 데이터로 확인한 것이 문제 해결의 시작이었습니다. 3단계의 필수 입력 항목을 줄이고 나중에 선택적으로 추가하도록 바꿨더니 초기 완료율이 올라갔습니다. 이 경험에서 배운 것은 채택을 높이는 것이 더 나은 기능을 추가하는 것이 아니라 기존 흐름에서 마찰을 제거하는 것이라는 점입니다.
사용자가 처음 경험하는 흐름이 제품 전체에 대한 기대를 결정합니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 넥스트증권 프로덕트 매니저 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.