면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
장바구니 개선 실험을 위해 필요한 이벤트(담기·삭제·결제 진입)를 먼저 정의하고 로깅 스펙을 작성하는 단계부터 참여했습니다. 기존에는 담기 이벤트만 쌓이고 있어 이탈 지점을 알 수 없는 상태였습니다.
개발팀과 협의해 단계별 이벤트를 추가하고, 2주간 데이터가 정상적으로 쌓이는지 먼저 검증한 뒤 본 실험을 시작했습니다. 이 과정에서 일부 이벤트가 중복 발생하는 버그를 발견해 사전에 수정했습니다.
분석보다 먼저 데이터를 믿을 수 있는 상태로 만드는 것이 더 오래 걸린 작업이었습니다.
검색 결과 정렬 방식 실험에서 클릭 후 체류 시간과 재검색 비율을 핵심 데이터로 수집했습니다. 재검색이 많다는 것은 원하는 결과를 못 찾았다는 신호로 판단했습니다.
분석 결과 신규 정렬 방식에서 재검색 비율이 7%p 낮아진 것을 확인했고, 이를 근거로 정렬 로직을 신규 방식으로 전면 교체하자고 제안했습니다. 개발팀에 전달할 때는 수치와 함께 재검색이 발생한 실제 검색어 샘플도 첨부해 설득력을 높였습니다.
숫자만 전달하기보다 구체적 사례를 함께 붙인 것이 의사결정 속도를 높였다고 생각합니다.
실험 결과를 처음 봤을 때 특정 그룹의 이벤트 수가 다른 그룹보다 지나치게 적었습니다. 바로 결론을 내리지 않고 로그 수집 시스템을 먼저 점검했더니, 특정 앱 버전에서 이벤트 전송이 누락되는 버그가 있었습니다.
해당 버전 사용자를 제외하고 재분석하자 두 그룹의 표본이 균형을 이뤘고, 그제서야 신뢰할 수 있는 결과를 얻었습니다. 이후 실험 시작 전 항상 이벤트 수집률을 먼저 점검하는 절차를 팀 체크리스트에 추가했습니다.
데이터가 이상하면 결론이 아니라 수집 과정부터 의심하는 습관이 중요하다는 걸 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.