이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
인턴 때 추천 버튼 위치 A/B 테스트를 설계하면서 기획자와 성공 지표 정의가 달랐습니다. 기획자는 클릭률을 보자고 했고, 저는 클릭 후 구매 전환율까지 봐야 한다고 생각했습니다. 처음엔 서로의 의도를 전달만 하다가 논의가 평행선을 달렸습니다.
데이터 분석가에게 중재를 요청해 과거 테스트에서 클릭률이 높았던 안이 전환율이 낮았던 사례를 공유 받았습니다. 그 데이터를 기획자에게 보여주니 자연스럽게 전환율을 1차 지표로 합의할 수 있었습니다.
의견 충돌을 말로 설득하려 했던 게 실패의 원인이었습니다. 데이터를 먼저 찾아오는 것이 훨씬 빠른 합의로 이어졌습니다. 그 경험 이후로 협업에서 논의가 막히면 먼저 데이터부터 찾는 방향으로 접근하게 됐습니다.
팀 프로젝트에서 신규 온보딩 플로우 A/B 테스트를 기획할 때, 저는 2주면 충분하다고 생각했는데 데이터 분석가가 4주 이상이 필요하다고 했습니다. 처음엔 왜 그렇게 오래 걸리냐고만 생각했습니다.
분석가가 검정력 계산 공식과 기존 전환율 수치를 설명해 주면서 제가 예상한 효과 크기가 너무 낙관적이었다는 걸 알았습니다. 현실적인 효과 크기를 기준으로 다시 계산하니 3주가 필요했습니다.
제가 감으로 잡은 기간이 틀렸던 경험이 좋은 교훈이 됐습니다. 이후엔 실험 기간 산정 시 분석가에게 먼저 검정력 계산을 부탁하고 시작하게 됐습니다. 협업은 서로가 모르는 영역에서 서로가 전문가라는 걸 그때 제대로 느꼈습니다.
사이드 프로젝트에서 결제 버튼 색상 변경 실험 결과가 나왔는데, 클릭률이 3% 올랐습니다. 기획자는 바로 배포하자고 했지만, 저는 통계적으로 유의미한지 확인이 필요하다고 생각했습니다.
데이터를 분석해 보니 p-value가 0.12로 유의 수준 0.05를 넘었습니다. 우연에 의한 차이일 가능성이 컸습니다. 그 수치와 의미를 기획자에게 설명하는 데 어려움이 있었습니다.
'동전을 10번 던져서 7번 앞면이 나왔다고 해서 앞면이 잘 나오는 동전이라고 단정할 수 없다'는 비유를 썼더니 이해가 됐다고 하셨습니다. 실험 결과를 함께 해석하는 것도 개발자의 역할이라는 걸 그때 배웠고, 이후엔 실험 보고 시 숫자뿐 아니라 해석 가이드를 함께 작성하게 됐습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 DB그룹 프로덕트 매니저 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.