면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
저는 동아리 프로젝트에서 앱 알림 문구 A/B 테스트를 진행하던 중 실험군에 특정 시간대 접속자가 몰려 있다는 것을 뒤늦게 발견했습니다. 이대로면 시간대 효과가 알림 문구 효과와 뒤섞여 결과가 왜곡될 수 있다고 판단해, 저는 시간대를 층화해 재배정하는 방식으로 실험을 다시 설계했습니다. 그 결과 처음 봤던 차이의 상당 부분이 시간대 효과였다는 것을 확인했고, 실험 설계 단계에서 교란 변수를 미리 통제하는 것이 얼마나 중요한지 배웠습니다.
저는 수업 프로젝트에서 클릭률처럼 비율 데이터를 비교할 때는 카이제곱 검정을, 체류 시간처럼 연속형 데이터를 비교할 때는 t검정을 사용했습니다. 처음에는 두 지표 모두에 같은 검정 방법을 쓰려다 통계 조교의 피드백을 받고 데이터 형태에 따라 방법을 다르게 적용해야 한다는 것을 알게 됐습니다. 그 이후로 저는 분석 전에 항상 데이터 분포와 형태를 먼저 확인하는 습관을 갖게 됐습니다.
저는 인턴 기간 중 신규 가입자 대상 온보딩 화면 개편의 효과를 단순 A/B 비교만으로는 제대로 볼 수 없다고 판단했습니다. 개편 직후 지표는 좋아 보였지만 시간이 지나며 효과가 유지되는지 확인이 필요했기 때문입니다. 그래서 저는 가입 주차별 코호트를 나눠 리텐션 추이를 추적했고, 초반 지표 개선이 4주 차 이후에는 대조군과 차이가 거의 사라진다는 것을 발견했습니다. 이 경험으로 단기 지표만 보고 성과를 판단하면 안 된다는 것을 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.