이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
학교 UX 수업에서 간단한 A/B 테스트 실습을 진행했습니다. 랜딩 페이지에서 CTA 버튼의 문구를 두 가지로 나눠 어느 쪽이 클릭률이 높은지를 측정했습니다. 이 실습에서 배운 핵심은 테스트 전에 '이 가설이 맞으면 어떤 지표가 움직여야 하는가'를 먼저 정의해야 한다는 점입니다. 그렇지 않으면 결과를 보고 나서 유리한 해석을 선택하게 됩니다. 실습에서는 대조군·실험군의 샘플 크기도 결론 신뢰도에 영향을 준다는 것을 배웠고, 표본이 너무 작으면 차이가 통계적으로 유의미하지 않을 수 있습니다. A/B 테스트는 직관을 데이터로 검증하는 도구이지, 결론을 합리화하는 도구가 아니라는 것을 기본 원칙으로 갖고 있습니다.
학교 UX 수업에서 랜딩 페이지의 버튼 문구를 두 가지로 나눠 A/B 테스트를 했을 때, 제가 직접 챙긴 건 전체 평균만 보지 않는 일이었습니다. 처음엔 어느 쪽 클릭률이 높은지 전체 수치만 봤는데, 신규 방문자와 재방문자를 나눠 보니 반응이 반대로 갈리는 자리가 있었습니다. 평균이 그 차이를 가리고 있었습니다. 그래서 저는 결과를 세그먼트로 쪼개, 어떤 사용자에게 어느 문구가 통하는지를 봤습니다. 다만 제 한계도 분명했습니다. 표본이 작아 세그먼트로 나누면 각 그룹의 수가 더 줄어, 통계적으로 유의하다고 말하기 어려웠습니다. 그래서 결론을 단정하기보다 경향으로만 읽었습니다. A/B 테스트는 직관을 데이터로 검증하는 도구이지 유리한 해석을 고르는 도구가 아니라는 걸, 그 한계까지 포함해 배웠습니다.
A/B 테스트에서 제가 가장 중요하게 지키는 건, 테스트 전에 '이 가설이 맞으면 어떤 지표가 움직여야 하는가'를 먼저 정하는 일입니다. UX 수업 실습에서 이걸 안 정하고 결과부터 봤더니, 나도 모르게 유리한 숫자를 골라 해석하게 된다는 걸 느꼈습니다. 그래서 저는 실험 전에 성공 지표와 기준을 못 박아, 결과가 그걸 넘었는지로만 판단하려 합니다. 사후에 말을 바꾸지 않기 위해서입니다. 또 대조군과 실험군의 표본이 너무 작으면 차이가 우연일 수 있어, 표본 크기도 결론 신뢰도에 영향을 준다는 걸 배웠습니다. 다만 제 한계도 인정합니다. 저는 수업 규모의 실습이라, 실제 트래픽에서 표본을 충분히 모으거나 유의성을 엄밀히 따져 본 경험은 없습니다. 그래서 A/B 테스트를 결론을 합리화하는 도구가 아니라, 가설을 먼저 세우고 검증하는 도구로 보려 합니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 CJ올리브영 프로덕트 매니저 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.