예시 답변 1
성공한 AB테스트 사례
온보딩 완료율이 낮은 원인을 분석하며, 단계 수가 많아서 이탈이 생긴다는 가설을 세웠습니다. 기존 5단계 온보딩을 3단계로 줄인 버전을 만들어 신규 유저를 절반씩 나눠 2주간 AB테스트를 진행했습니다. 실험군의 완료율이 대조군 대비 12퍼센트포인트 높았고, p값이 0.02로 통계적으로 유의미해 실제 적용을 제안했습니다.
가설-실험 설계-통계적 검증까지 전 과정을 수치와 함께 제시했다.
면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
온보딩 완료율이 낮은 원인을 분석하며, 단계 수가 많아서 이탈이 생긴다는 가설을 세웠습니다. 기존 5단계 온보딩을 3단계로 줄인 버전을 만들어 신규 유저를 절반씩 나눠 2주간 AB테스트를 진행했습니다. 실험군의 완료율이 대조군 대비 12퍼센트포인트 높았고, p값이 0.02로 통계적으로 유의미해 실제 적용을 제안했습니다.
버튼 색상을 바꾸면 클릭률이 오를 것이라는 가설로 AB테스트를 진행했지만, 2주 후 결과를 보니 실험군과 대조군의 클릭률 차이가 통계적으로 유의미하지 않았습니다. 처음엔 아쉬웠지만, 이 결과로 색상보다 버튼 위치나 문구가 더 중요한 요인일 수 있다는 다음 가설을 세울 수 있었습니다. 실패한 실험도 다음 방향을 좁히는 데 도움이 된다고 생각합니다.
추천 알고리즘 변경이 구매전환율에 미치는 영향을 검증하기 위해 AB테스트를 설계했는데, 초기 계획한 표본으로는 유의미한 차이를 검출하기에 부족하다는 걸 사전 검정력 분석으로 확인했습니다. 실험 기간을 2주에서 4주로 늘려 충분한 표본을 확보한 뒤 진행했고, 최종적으로 실험군의 전환율이 8퍼센트 높다는 유의미한 결과를 얻었습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.