면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
저는 회사 인턴 기간 중 결제 페이지 문구를 바꾸면 전환율이 오를 것이라 예상하고 A/B 테스트를 진행했습니다. 하지만 결과는 실험군과 대조군의 전환율 차이가 0.3퍼센트포인트에 불과했고 통계적으로 유의하지 않았습니다. 저는 이 결과를 그대로 팀에 보고하며 문구보다 결제 단계 수가 이탈에 더 큰 영향을 줄 수 있다는 가설을 새로 제안했습니다. 예상이 빗나간 결과라도 숨기지 않고 다음 실험 설계에 반영하는 것이 분석가의 역할이라는 것을 그때 배웠습니다.
저는 학교 연구 프로젝트에서 대규모 설문 응답자를 대상으로 리마인드 메시지 발송 시점에 따른 응답률 차이를 검증했습니다. 표본이 커질수록 작은 차이도 유의하게 나올 수 있다는 것을 알고 있었기에, 저는 통계적 유의성뿐 아니라 실질적인 효과 크기도 함께 확인했습니다. 그 결과 유의확률은 낮았지만 실제 응답률 차이는 1퍼센트포인트 남짓이어서, 저는 이 차이가 운영 비용을 들일 만큼 크지 않다고 판단해 보고서에 그대로 적었습니다.
저는 캡스톤 프로젝트에서 특정 마케팅 채널 이용자의 재구매율이 높다는 관찰 데이터를 접했습니다. 처음엔 그 채널이 재구매를 유도한다고 결론 내리고 싶었지만, 저는 실험군·대조군을 나눈 것이 아니라 관찰 데이터라는 점에서 인과관계로 단정할 수 없다고 판단했습니다. 그래서 저는 이용자의 기존 구매 이력을 통제 변수로 추가해 다시 분석했고, 그 결과 채널 자체의 효과는 처음 생각보다 작다는 것을 확인했습니다. 이 경험으로 상관관계를 인과관계로 성급히 해석하지 않는 태도를 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.