면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
저는 인턴 기간 중 앱 내 상품 상세페이지 버튼 위치를 바꾸면 클릭률이 오를 것이라는 가설을 세우고 A/B 테스트를 설계했습니다. 기존 위치를 대조군, 상단으로 옮긴 안을 실험군으로 나누고 2주간 각각 5천 명씩 노출되도록 설정했습니다. 결과적으로 실험군의 클릭률이 대조군보다 3.2퍼센트포인트 높았고, 카이제곱 검정으로 유의미한 차이인지 확인한 뒤 팀에 보고했습니다. 처음엔 표본 크기를 너무 작게 잡아 신뢰구간이 넓게 나왔는데, 담당 선배의 조언으로 기간을 늘려 다시 검증한 경험이 제겐 큰 배움이었습니다.
저는 학교 프로젝트에서 이메일 제목에 따른 열람률 차이를 검증하는 A/B 테스트를 진행했습니다. 처음 설계할 때는 발송 시간대를 통일하지 않아 실험군과 대조군의 조건이 달랐던 것을 뒤늦게 발견했습니다. 저는 이 문제를 인지한 뒤 발송 시간을 동일하게 맞춰 재실험을 진행했고, 그 결과 제목에 숫자를 포함한 실험군의 열람률이 대조군보다 유의하게 높다는 것을 확인했습니다. 이 경험으로 저는 실험 조건을 통제하지 않으면 결과 해석 자체가 무의미해질 수 있다는 것을 배웠습니다.
저는 데이터 분석 동아리에서 팀원 세 명과 함께 온라인 설문 응답률을 높이기 위한 A/B 테스트를 진행했습니다. 저는 그중 가설 설계와 표본 크기 산정을 맡았고, 설문 안내 문구를 두 가지 버전으로 나눠 실험군을 배정했습니다. 실행과 데이터 수집은 다른 팀원이 맡았지만 결과 해석 단계에서 저는 유의확률이 0.08로 기준을 살짝 넘긴 것을 발견해 표본을 더 모아야 한다고 제안했습니다. 그 결과 표본을 추가로 확보한 뒤 유의미한 차이를 확인할 수 있었습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.