면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
서비스 기획 프로젝트에서 새로운 알림 기능이 재방문율을 높일 것이라 확신하고 A/B 테스트를 설계했습니다. 결과는 예상과 달리 알림을 받은 그룹의 재방문율이 오히려 2%p 낮았습니다.
처음엔 실험 설계 문제라고 의심했지만, 재확인 후에도 같은 결과가 나와 사용자 인터뷰를 추가로 진행했습니다. 알림 빈도가 부담스러웠다는 응답이 많았습니다.
제가 원했던 기능이었지만 데이터를 근거로 출시를 보류하고, 알림 빈도를 조정한 버전으로 재설계했습니다. 이 재설계 버전은 재방문율이 4%p 개선됐습니다.
결제 페이지 레이아웃 두 가지를 비교하는 실험에서 전환율은 B안이 A안보다 3%p 높았지만, 차이가 크지 않아 팀 내 의견이 갈렸습니다.
저는 수치만으로 결정하지 않고, 사용자 5명을 대상으로 짧은 인터뷰를 진행했습니다. B안이 결제 정보 입력 순서가 더 직관적이라는 의견이 많았고, 정량 결과와 정성 피드백이 같은 방향을 가리켜 B안 도입을 확정할 수 있었습니다.
수치 차이가 작을 때는 정성 조사로 방향을 보강하는 것이 결정의 확신을 높인다고 생각합니다.
초기에는 팀에서 실험 없이 감으로 기능을 출시하는 경우가 많았습니다. 제가 온보딩 화면 실험을 성공적으로 마친 뒤, 가설-실험-검증 3단계 템플릿을 만들어 팀에 공유했습니다.
이후 새 기능을 낼 때마다 이 템플릿을 기준으로 최소한의 가설과 지표를 먼저 정하는 문화가 자리 잡았습니다. 3개월 동안 이 템플릿을 거친 기능이 6개였고, 그중 2개는 실험 단계에서 출시가 보류됐습니다.
한 번의 실험 성공보다, 실험하는 습관을 팀에 남긴 것이 더 큰 성과라고 생각합니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.