이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
A/B 테스트로 디자인 성과를 측정한 경험은 CTA 버튼 위치 변경 효과 검증이었습니다. 가설은 버튼을 페이지 중단에서 상단으로 올리면 클릭률이 올라갈 것이라는 것이었습니다. 표본 크기 계산을 먼저 해 통계적 유의성을 얻으려면 몇 명의 방문자가 필요한지를 산출했고, 기준에 미달하는 상태로 결과를 확정하지 않는 원칙을 지켰습니다.
분할 비율은 방문자를 50:50으로 나눠 A안과 B안을 무작위 배분하는 방식으로 진행했습니다. 결과는 B안 버튼 클릭률이 A안보다 12% 높았고, 이 차이가 통계적으로 유의한지를 p값 기준으로 확인했습니다. 단일 변수 분리가 테스트 설계의 핵심이라는 점을 이 경험에서 배웠고, 여러 요소를 동시에 바꾸면 어떤 변화가 효과를 냈는지 알 수 없다는 점을 팀원에게 설명할 수 있게 됐습니다.
가설-설계-측정-해석의 순서를 지키는 방식으로 디자인 의사결정을 지원하겠습니다.
A/B 테스트 결과 해석에서 전체 평균만 보면 놓치는 자리가 있습니다. CTA 버튼 위치 변경 테스트에서 전체 클릭률은 B안이 높았지만, 신규 방문자와 재방문자를 나눠보니 재방문자는 두 안 간 차이가 없는 자리가 있었습니다. 세그먼트별로 나눠보는 것이 전체 결과가 어느 사용자 그룹에서 나왔는지를 확인하는 방법입니다. 또한 테스트 기간 중에 외부 이벤트가 있었는지도 확인이 필요한데, 동기간 프로모션이 있으면 A안에 그 효과가 섞일 수 있는 자리가 생깁니다. 아직 부족한 건 세그먼트가 여러 개일 때 교차 분석이 복잡해지는 상황에서 어떤 세그먼트를 우선 확인해야 하는지 빠르게 판단하는 것인데, 이것은 경험이 쌓여야 하는 자리입니다.
A/B 테스트 결과는 전체 평균보다 세그먼트별 분리가 더 많은 정보를 주는 자리라는 걸 생각하고 있습니다.
A/B 테스트에서 B안이 유의하게 좋다는 결과가 나온 후에도 바로 전체 배포하지 않는 방식을 생각합니다. CTA 버튼 위치 변경이 클릭률은 올렸지만 전환율(최종 구매)까지 높이는지는 별도로 확인해야 하는 자리가 있습니다. 가드레일 지표인 이탈률이 함께 오르지 않았는지를 배포 후에도 일정 기간 모니터링하는 것이 롤아웃 절차의 일부입니다.
클릭률이 올랐지만 전환율이 내려가는 경우도 있기 때문에 1차 지표만으로 성공을 확정하지 않는 것이 중요합니다. 아직 부족한 건 롤아웃 후 모니터링 기간을 어떻게 정하고 어떤 지표가 흔들리면 롤백하는지 기준을 스스로 설정하는 것인데, 이것은 실무 경험이 필요한 자리입니다.
A/B 테스트 후 롤아웃을 단계별로 진행하고 후속 지표를 확인하는 것이 테스트를 완성하는 절차라는 걸 생각하고 있습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 삼성전자 공통직무·미지정 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.