이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
팀 프로젝트에서 신기능 도입 가설 검증을 처음 주도했습니다. 가설은 '알림 빈도를 높이면 재방문율이 올라갈 것'이었는데, 이를 검증하기 위해 먼저 측정 가능한 성공 기준을 정했습니다. '알림 수신 후 24시간 이내 앱 재방문 여부'를 지표로 잡고, 알림 빈도를 주 1회·주 3회 두 그룹으로 나눠 2주간 관찰했습니다. 결과는 주 3회 그룹의 재방문율이 높았지만 앱 알림 차단율도 함께 올라가는 패턴이 나왔습니다. 단기 지표와 장기 부작용이 공존하는 결과였고, 팀에 '알림 빈도보다 알림 내용의 관련성이 더 중요하다'는 방향을 제안했습니다. 가설 검증에서 중요한 것은 원하는 결론을 확인하는 게 아니라 예상 밖의 신호를 찾아내는 것이라는 점을 배웠습니다.
팀 프로젝트에서 신기능 가설 검증을 주도할 때, 제가 가장 먼저 한 건 측정 가능한 성공 기준을 정하는 일이었습니다. 가설은 '알림 빈도를 높이면 재방문율이 오를 것'이었는데, 막연히 좋아지는지를 보면 결과를 마음대로 해석하게 된다고 봤습니다. 그래서 '알림 수신 후 24시간 이내 앱 재방문 여부'를 지표로 못 박고, 알림 빈도를 주 1회·주 3회 두 그룹으로 나눠 2주간 관찰했습니다. 결과는 주 3회 그룹의 재방문율이 높았지만, 동시에 알림 차단율도 함께 올랐습니다. 단기 지표와 장기 부작용이 같이 나온 셈입니다. 그래서 저는 빈도보다 알림 내용의 관련성이 더 중요하다는 방향을 팀에 제안했습니다. 가설 검증의 핵심은 원하는 결론을 확인하는 게 아니라 예상 밖의 신호를 찾는 것이라는 걸 배웠습니다. 다만 표본이 작아 결론을 단정하긴 어려워, 더 큰 데이터로 재검증이 필요하다고 봤습니다.
가설을 검증할 때 제가 의식하는 건, 보고 싶은 지표 하나만 보면 안 된다는 점입니다. 팀 프로젝트에서 알림 빈도 실험을 할 때, 재방문율만 봤다면 '주 3회가 답'이라고 결론 냈을 겁니다. 그런데 알림 차단율을 함께 보니 빈도를 높인 대가가 따라온다는 게 드러났습니다. 그래서 저는 검증할 때 노리는 지표와 함께, 그게 오를 때 나빠질 수 있는 부작용 지표를 같이 보는 게 핵심이라고 봅니다. 단기 성과 뒤의 장기 비용을 놓치지 않기 위해서입니다. 다만 제 한계도 인정합니다. 어떤 부작용 지표를 함께 봐야 하는지 미리 떠올리는 감각은 아직 부족해, 실험 후에야 보이는 것도 있었습니다. 또 표본이 작아 두 지표의 차이가 우연인지 가르기 어려웠습니다. 그래서 가설 검증을 원하는 결론 확인이 아니라, 부작용까지 함께 보며 예상 밖 신호를 찾는 일로 보려 합니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 와이즐리컴퍼니 프로덕트 매니저 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.