면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
개인 프로젝트에서 상품 목록 화면의 로딩 방식을 페이지네이션에서 무한 스크롤로 바꾸는 실험을 진행했습니다. 핵심 지표는 스크롤 깊이와 평균 체류 시간으로 잡았습니다.
무한 스크롤 버전에서 평균 체류 시간이 18% 늘었지만, 동시에 특정 상품 상세 페이지로의 클릭률은 오히려 6% 줄었습니다. 오래 머물렀지만 실제 행동으로 이어지지 않은 셈이라, 체류 시간만으로는 개선이라 판단하기 어렵다고 결론 내렸습니다.
이후 무한 스크롤 중간중간 추천 영역을 넣는 2차 실험을 설계했습니다.
모바일 앱 첫 화면 버튼 배치를 바꾸는 실험에서, 초반에는 전체 지표가 큰 차이가 없어 실패한 실험으로 마무리할 뻔했습니다. 그런데 화면 크기별로 나눠보니 작은 화면 기기에서만 클릭률이 유의하게 낮았습니다.
원인을 보니 새 버튼 위치가 작은 화면에서는 엄지손가락이 닿기 어려운 위치였습니다. 전체 평균만 봤다면 놓쳤을 문제였고, 실제로 큰 화면 기기에서는 오히려 클릭률이 소폭 올라 두 결과가 서로 상쇄되고 있었습니다.
이후 화면 크기를 세그먼트로 나눠 결과를 보는 것을 실험 분석의 기본 절차로 삼았고, 작은 화면 전용으로 버튼 위치를 다시 조정한 후속 실험을 준비했습니다.
회원가입 절차 개선 프로젝트에서 각 단계별 이탈률을 지표로 삼아 병목 구간을 먼저 찾았습니다. 3단계 중 2단계(전화번호 인증)에서 이탈이 가장 컸습니다.
첫 실험으로 인증 방식을 문자에서 앱 푸시로 바꿔봤지만 이탈률 개선이 미미했습니다. 원인을 다시 보니 인증 방식이 아니라 안내 문구가 불명확한 것이 문제였습니다. 문구를 구체적으로 바꾼 2차 실험에서 이탈률이 15%p 줄었습니다.
첫 가설이 틀렸다는 걸 인정하고 원인을 다시 찾은 것이 개선으로 이어진 과정이었습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.