면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
저는 A/B 테스트를 설계할 때 가설, 성공 지표, 최소 표본 크기 세 가지를 먼저 확정하고 시작합니다. 이 순서를 지키지 않으면 결과가 나온 뒤에야 무엇을 봐야 할지 정하게 되는 경우를 실습 프로젝트에서 겪었습니다.
예를 들어 버튼 색상 변경 실험을 설계할 때, "파란색이 빨간색보다 클릭률이 5%p 이상 높을 것"이라는 구체적 가설을 세우고, 유의수준 0.05·검정력 0.8 기준으로 필요한 표본 크기를 계산해 실험 기간을 2주로 정했습니다.
기간을 임의로 정하지 않고 통계적 근거로 정한 것이 이 설계의 핵심이었습니다.
설계 단계에서 제가 가장 신경 쓰는 부분은 그룹 배정이 실제로 의도한 비율대로 나뉘었는지 확인하는 것입니다. 배정 로직에 버그가 있으면 아무리 정교하게 분석해도 결과를 신뢰할 수 없기 때문입니다.
대외활동 데이터 분석 프로젝트에서 50대 50으로 배정했다고 가정했는데 실제 로그를 보니 52대 48로 쏠려 있던 적이 있습니다. 카이제곱 검정으로 이 차이가 우연인지 확인하는 절차(SRM 체크)를 거친 뒤에야 본 분석을 진행했습니다.
이런 사전 점검 없이 나온 결과는 잘못된 결론으로 이어질 수 있다고 생각합니다.
실험 기간을 정할 때 요일·시즌성 같은 외부 변수를 통제하는 것을 중요하게 봅니다. 예를 들어 특정 요일에만 트래픽이 몰리는 서비스라면, 최소 한 번의 완전한 주기(1~2주)를 포함해야 결과가 왜곡되지 않습니다.
실습 프로젝트에서 프로모션 배너 실험을 설계할 때, 주말과 평일 트래픽 패턴이 크게 달라 월요일부터 일요일까지 정확히 포함되도록 기간을 조정한 경험이 있습니다.
또한 같은 기간에 다른 실험이 동시에 돌고 있지 않은지도 미리 확인해 상호 간섭을 배제하려 합니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.