면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
프로젝트에서 검색 결과의 클릭률이 낮은 문제를 두고, 정렬 기준을 최신순에서 관련도순으로 바꾼 버전을 테스트했습니다. 관련도순 버전에서 클릭률이 높아졌을 뿐 아니라, 검색 후 이탈률도 함께 낮아지는 것을 확인해 정렬 로직을 전면 교체하는 근거로 활용했습니다. 단일 화면의 변화가 제품 전체의 탐색 경험을 바꾸는 계기가 될 수 있다는 것을 배웠습니다.
결제 단계에서 이탈이 많다는 문제를 정의하고, 입력 항목을 5개에서 3개로 줄인 버전을 테스트했습니다. 결과적으로 결제 완료율이 개선됐지만, 동시에 주소 오류로 인한 배송 문의가 늘어나는 부작용도 발견했습니다. 좋은 결과만 보고 끝내지 않고 부작용까지 함께 살펴 다음 개선안에 반영한 것이 이 경험에서 얻은 가장 큰 배움이었습니다.
저는 특정 기능의 사용성이 낮은 이유가 버튼 위치 때문이라고 가정하고 위치를 바꾼 테스트를 진행했지만, 결과에 큰 변화가 없었습니다. 이후 다시 조사해보니 실제 원인은 기능 자체를 사용자가 모른다는 인지 문제였다는 것을 알게 됐습니다. 이 경험으로 A/B 테스트는 가설이 맞다는 것을 증명하는 도구가 아니라 가설을 검증하고 틀렸을 때 다음 방향을 찾는 도구라는 것을 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.