이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
데이터 기반 실험을 설계할 때 제가 가장 먼저 하는 것은 '이 실험이 성공했다는 것을 어떻게 알 것인가'를 먼저 정하는 것입니다. 그 기준을 정하지 않으면 나중에 결과를 보고 해석이 달라질 수 있습니다.
팀 프로젝트에서 랜딩 페이지 카피 변경의 효과를 측정하는 실험을 설계했는데, 지표를 클릭률로 하고 기준 대비 10% 이상 향상을 성공으로 정의했습니다. 2주 테스트 후 8.3% 향상이 나왔는데, 기준을 사전에 정해두었기 때문에 '성공이냐 아니냐'를 명확하게 판단할 수 있었습니다. 실패는 샘플 크기를 충분히 계산하지 않고 시작했다가 통계적으로 유의미한지 확인이 안 된 것이었는데, 이후 실험 전에 샘플 크기 계산을 먼저 하는 단계를 추가했습니다.
실험은 결과가 나온 뒤 해석하는 것이 아니라, 어떤 결과를 성공으로 볼지 미리 정해두는 것에서 신뢰가 생깁니다.
데이터 기반 실험을 설계할 때 놓치기 쉬운 부분이 실험 기간 중에 다른 변화가 생겼을 때 결과를 어떻게 해석할 것인가입니다. 개입 효과와 외부 요인 효과를 분리하지 못하면 결론이 틀려요.
수업 팀 과제에서 프로모션 이메일 발송 효과를 측정하는 실험을 했는데, 마침 같은 기간에 연휴가 겹쳐서 트래픽이 평소보다 높아진 상태에서 결과가 나왔습니다. 프로모션 효과인지 연휴 효과인지 구분할 수 없었어요. 실패는 실험 기간 중 마케팅 일정과 시즌 이벤트를 미리 확인하지 않은 것이었습니다.
실험 설계에서 기간 선택은 단순한 일정 관리가 아니라, 혼동 변수를 줄이는 의사결정이라는 걸 그 경험에서 배웠어요.
실험을 바로 전체에 적용하기 전에 소규모 파일럿을 먼저 돌려보는 것이 중요하다고 생각합니다. 설계 단계에서 발견하지 못한 오류를 작은 규모에서 잡을 수 있거든요.
개인 프로젝트에서 신규 기능 사용 여부가 재방문율에 영향을 미치는지를 실험하려 했는데, 파일럿을 50명으로 먼저 돌렸습니다. 로깅이 제대로 안 된 케이스가 12%나 발생하는 걸 그때 발견했어요. 전체 실험 전에 발견했으니까 데이터 손실 없이 수정할 수 있었습니다. 실패는 파일럿 결과를 보고 바로 전체에 적용했다가 또 다른 설정 오류가 나온 것이었는데, 파일럿 후에도 설계 리뷰를 한 번 더 하는 단계를 추가했어요.
파일럿은 실험의 작은 버전이 아니라, 실험 설계 자체를 검증하는 단계라고 생각합니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 당근마켓 백엔드 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.