이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
A/B 테스트를 설계할 때 가설을 먼저 명확히 정의하고 측정 지표를 하나로 좁히는 것에서 시작합니다. 여러 변수를 동시에 바꾸면 무엇이 결과에 영향을 줬는지 알 수 없어서, 단일 변수 변경 원칙을 지키는 것이 중요합니다. 버튼 색상을 변경한 테스트에서 클릭률이 12% 상승했는데, 통계적 유의성 확인 전에 결과를 발표했다가 샘플 사이즈가 부족해서 재검증이 필요했던 경험이 있습니다. 그 이후 테스트 시작 전에 필요 샘플 사이즈를 계산하고 기간을 충분히 잡는 것이 습관이 됐습니다. 선입견을 내려놓고 데이터가 이야기하게 두는 것이 A/B 테스트에서 가장 어렵고도 핵심적인 부분이라고 생각합니다.
A/B 테스트에서 가장 크게 배운 것은 결과가 나왔다고 끝이 아니라는 것이었습니다. 클릭률이 상승했는데 샘플 사이즈 부족으로 통계적 유의성이 확보되지 않아 재검증이 필요했던 경험이 그 계기였습니다. 그 이후로 결과를 팀에 공유할 때 지표값과 함께 신뢰구간과 샘플 수를 반드시 명시하는 방식으로 바꿨습니다.
테스트 설계서와 결과 기록을 함께 보관하면 비슷한 가설이 다시 등장했을 때 과거 데이터를 참조할 수 있습니다. 결과를 반영할 때도 배포 후 2주 모니터링을 추가해 초기 결과와 안정화 후 결과를 비교하는 후속 과정을 넣었습니다. 테스트는 결론을 내는 것이 아니라 다음 질문을 만드는 과정이라고 봅니다.
A/B 테스트에서 설계 단계가 분석 결과의 신뢰도를 결정한다는 것을 경험으로 배웠습니다. 여러 변수를 동시에 바꾸면 어떤 변화가 결과를 만들었는지 알 수 없어서 단일 변수 원칙을 지키는 것이 가장 기본이지만 가장 지키기 어려운 규칙이기도 합니다. 테스트 시작 전에 필요 표본 사이즈를 계산하는 것이 나중에 유의성 부족으로 재검증하는 상황을 막는 방법이라는 걸 경험으로 알게 됐습니다.
목표 전환율 차이와 검정력(Power)을 기준으로 필요 표본 수를 계산하면 테스트 기간도 현실적으로 잡을 수 있습니다. 테스트 기간을 짧게 가져가면 주말·평일 사용 패턴 차이 같은 외부 요인이 결과를 오염시킬 수 있다는 것도 설계 단계에서 고려해야 할 요소입니다. 좋은 테스트는 실험 전에 이미 결과의 신뢰 범위가 정해져 있습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 넥스트증권 프로덕트 디자이너 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.