예시 답변 1
약 90초
샘플 오염과 통계적 검증력 문제 극복
구매 전환율 개선 실험에서 가장 어려웠던 건 샘플 오염(contamination) 문제였습니다. 같은 디바이스를 여러 사용자가 공유하는 경우 A/B 그룹이 섞이는 현상이 발생했고, 이로 인해 초기 실험 결과가 신뢰하기 어려운 상태였습니다. 해결책으로 디바이스 ID 대신 사용자 ID 기반 그룹 할당으로 전환했고, 로그인 사용자만 실험 대상으로 제한했습니다. 또 다른 어려움은 검증력 부족이었습니다. 개선이 미미한 경우 유의한 차이가 없다고 결론 내릴 수 없었는데, 사전에 Power Analysis로 필요 샘플 크기를 계산하고 충분한 기간을 확보한 후 종료 기준을 사전 명시했습니다. 개선 지표는 결제 전환율(+5.3%p)이었고, 신뢰구간 안에서 유의미한 결과를 확인했습니다.
실험 설계의 오류는 실험 종료 후엔 고칠 수 없다는 교훈이 이 경험의 핵심입니다.
이 결의 특징
공유 디바이스로 A/B 그룹이 섞이는 샘플 오염을 잡아내 사용자 ID 기반 할당으로 전환한 흔적이 또렷합니다. 검증력 부족을 사전 Power Analysis와 종료 기준 사전 명시로 막은 대목이, 결제 전환율 +5.3%p를 우연한 변동이 아닌 신뢰구간 안의 결과로 닫는 결이 보입니다.
이 결이 통하는 자리
'실험 설계 오류는 종료 후엔 못 고친다'는 교훈이 오염 발견·검증력 확보라는 두 구체로 받쳐질 때 통합니다. 초기 결과를 신뢰할 수 없었다고 솔직히 인정한 흐름이 살아 있는 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.