이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
학부 데이터 분석 수업에서 팀 프로젝트로 이커머스 사이트 버튼 색상 변경의 클릭률 차이를 검증하는 실험을 설계했습니다. "파란 버튼이 빨간 버튼보다 클릭률이 높을 것이다"라는 가설을 세우고 시작했는데, 처음에는 표본 크기를 임의로 100명으로 잡았다가 통계적 검정력이 너무 낮다는 피드백을 받았습니다. 그 후 파워 분석 도구로 최소 280명이 필요하다는 걸 확인하고 기간을 늘렸습니다. 대조군과 실험군에 동시에 노출시켜 시간 편향을 줄이려 했고, 트래픽을 50:50으로 나눴습니다. 결과적으로 빨간 버튼의 클릭률이 12% 높게 나왔고, 가설이 틀렸지만 그 결과 자체가 흥미로운 발견이었습니다. 가설을 세우는 것 이상으로 표본 설계 단계가 실험 전체를 좌우한다는 걸 그때 처음 알았습니다.
인턴 중 서비스 온보딩 플로우를 두 가지 버전으로 나눠 테스트하는 작업에 보조로 참여했습니다. 제가 맡은 부분은 이벤트 로그가 제대로 쌓이는지 확인하는 것이었는데, 처음 이틀 동안 사용자 식별자가 중복 집계되는 버그가 있어서 데이터가 신뢰할 수 없는 상태였습니다. 팀에 바로 보고했고, 로그 수집 로직을 수정한 뒤 실험을 다시 시작했습니다. 결과는 B 버전 온보딩에서 7일 유지율이 6%포인트 높게 나왔습니다. 직접 설계에 참여하지는 않았지만, 데이터 수집 신뢰성이 실험 결과보다 먼저 보장돼야 한다는 걸 그 경험에서 배웠습니다. 이제 어떤 분석 작업이든 데이터 수집 단계를 먼저 검증하는 습관이 생겼습니다.
개인 포트폴리오 프로젝트에서 뉴스레터 제목 문구 두 가지를 무작위로 구독자에게 나눠 보내는 간단한 실험을 해 봤습니다. 구독자 180명을 90명씩 나눠서 오픈율을 기준으로 비교했는데, 첫 시도에서 요일을 같게 맞추지 않아서 한 그룹은 화요일, 다른 그룹은 목요일에 수신했습니다. 오픈율 차이가 9%나 났는데 이게 제목의 차이인지 요일의 차이인지 구분이 안 됐습니다. 이걸 깨닫고 조건을 같은 요일, 같은 시간으로 맞춰 다시 실험했고, 그때는 차이가 3%로 줄었습니다. 한 변수만 바꿔야 한다는 걸 이론으로는 알았지만, 직접 실수를 겪고 나서야 외부 변수 통제가 얼마나 까다로운지 실감했습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 넛지헬스케어 데이터 분석가 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.