A/B 테스트를 설계하고 해석한 경험에 대해 구체적으로 설명해 주실 수 있나요? | 당근마켓 데이터 분석가 면접 질문

당당근마켓데이터 분석가직무 역량2026년 출제

답변 미리보기

학부 데이터 분석 수업에서 팀 프로젝트로 이커머스 사이트 버튼 색상 변경의 클릭률 차이를 검증하는 실험을 설계했습니다. "파란 버튼이 빨간 버튼보다 클릭률이

예상 답변 시간

60~90초

예상 꼬리질문

3회

난이도

난이도 중상

출제 빈도

높음

INTERVIEWER'S INTENT · 면접관의 의도

이 질문, 네 갈래로 뜯어봅니다.

면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.

과정을 어떻게 설계했는가?

A/B 테스트를 설계한 과정에 대한 구체적인 설명이 답에 있어야 합니다. 없으면 면접관이 '어떤 단계를 거쳤나요?'를 추가로 묻는 경우가 자주 보입니다.

결과는 어떤가?

A/B 테스트의 결과를 해석한 흔적이 답에 있어야 합니다. 없으면 면접관이 '결과는 어땠나요?'를 추가로 묻는 경우가 흔히 보입니다.

어떤 요소를 고려했는가?

A/B 테스트 설계 시 고려한 요소에 대한 언급이 답에 있어야 합니다. 없으면 면접관이 '특별히 신경 쓴 부분은 무엇인가요?'를 질문하는 자리가 자주 보입니다.

가설 설정은 어떻게 했는가?

A/B 테스트에서 세운 가설에 대한 설명이 답에 있어야 합니다. 없으면 면접관이 '어떤 가설을 세웠나요?'를 추가로 묻는 경우가 자주 보입니다.

말로 해봐야 는다

읽는 것과 말하는 건 다릅니다.
이 질문, 소리 내어 답해 볼까요?

당근마켓 면접관 페르소나가 이 질문을 던지고, 당신의 답에 꼬리질문으로 되물어요.

음성으로 답해보기

가설 설정·표본 설계 과정 중심으로 푸는 결약 92초 데이터 수집 신뢰성 확보 경험 중심으로 푸는 결약 88초 외부 변수 통제 실수와 재실험 중심으로 푸는 결약 88초

예시 답변 1

약 92초

가설 설정·표본 설계 과정 중심으로 푸는 결

학부 데이터 분석 수업에서 팀 프로젝트로 이커머스 사이트 버튼 색상 변경의 클릭률 차이를 검증하는 실험을 설계했습니다. "파란 버튼이 빨간 버튼보다 클릭률이 높을 것이다"라는 가설을 세우고 시작했는데, 처음에는 표본 크기를 임의로 100명으로 잡았다가 통계적 검정력이 너무 낮다는 피드백을 받았습니다. 그 후 파워 분석 도구로 최소 280명이 필요하다는 걸 확인하고 기간을 늘렸습니다. 대조군과 실험군에 동시에 노출시켜 시간 편향을 줄이려 했고, 트래픽을 50:50으로 나눴습니다. 결과적으로 빨간 버튼의 클릭률이 12% 높게 나왔고, 가설이 틀렸지만 그 결과 자체가 흥미로운 발견이었습니다. 가설을 세우는 것 이상으로 표본 설계 단계가 실험 전체를 좌우한다는 걸 그때 처음 알았습니다.

이 결의 특징

표본 100명이 검정력 부족 피드백을 받아 파워 분석으로 최소 280명을 확인하고 트래픽을 50대 50으로 나눈 흔적이 있습니다. 가설과 반대되는 결과도 그대로 받아들인 결입니다.

이 결이 통하는 자리

표본 설계 수정 과정이 구체 수치와 함께 살아 있을 때 통합니다. 표본 설계 단계가 실험 전체를 좌우한다는 결론이 보이는 자리에서 면접관이 통계 감각을 읽는 결이 보입니다.

예시 답변 2

약 88초

데이터 수집 신뢰성 확보 경험 중심으로 푸는 결

인턴 중 서비스 온보딩 플로우를 두 가지 버전으로 나눠 테스트하는 작업에 보조로 참여했습니다. 제가 맡은 부분은 이벤트 로그가 제대로 쌓이는지 확인하는 것이었는데, 처음 이틀 동안 사용자 식별자가 중복 집계되는 버그가 있어서 데이터가 신뢰할 수 없는 상태였습니다. 팀에 바로 보고했고, 로그 수집 로직을 수정한 뒤 실험을 다시 시작했습니다. 결과는 B 버전 온보딩에서 7일 유지율이 6%포인트 높게 나왔습니다. 직접 설계에 참여하지는 않았지만, 데이터 수집 신뢰성이 실험 결과보다 먼저 보장돼야 한다는 걸 그 경험에서 배웠습니다. 이제 어떤 분석 작업이든 데이터 수집 단계를 먼저 검증하는 습관이 생겼습니다.

이 결의 특징

사용자 식별자 중복 집계 버그를 이틀 만에 발견해 바로 보고하고, 로그를 수정한 뒤 실험을 재시작한 흔적이 있습니다.

이 결이 통하는 자리

버그 발견과 보고 타이밍이 구체적으로 살아 있을 때 통합니다. 데이터 수집 신뢰성이 결과보다 먼저 보장돼야 한다는 결론이 보이는 자리에서 면접관이 실무 감각을 읽는 결이 보입니다.

예시 답변 3

약 88초

외부 변수 통제 실수와 재실험 중심으로 푸는 결

개인 포트폴리오 프로젝트에서 뉴스레터 제목 문구 두 가지를 무작위로 구독자에게 나눠 보내는 간단한 실험을 해 봤습니다. 구독자 180명을 90명씩 나눠서 오픈율을 기준으로 비교했는데, 첫 시도에서 요일을 같게 맞추지 않아서 한 그룹은 화요일, 다른 그룹은 목요일에 수신했습니다. 오픈율 차이가 9%나 났는데 이게 제목의 차이인지 요일의 차이인지 구분이 안 됐습니다. 이걸 깨닫고 조건을 같은 요일, 같은 시간으로 맞춰 다시 실험했고, 그때는 차이가 3%로 줄었습니다. 한 변수만 바꿔야 한다는 걸 이론으로는 알았지만, 직접 실수를 겪고 나서야 외부 변수 통제가 얼마나 까다로운지 실감했습니다.

이 결의 특징

요일을 맞추지 않아 오픈율 차이가 9%로 나왔던 실수를 인정하고, 같은 요일·시간으로 재실험해 차이가 3%로 줄어든 걸 확인한 흔적이 있습니다.

이 결이 통하는 자리

실수와 재실험 수치가 구체적으로 살아 있을 때 통합니다. 외부 변수 통제가 이론과 달리 까다롭다는 걸 직접 겪었다는 결론이 보이는 자리에서 면접관이 실험 감각을 읽는 결이 보입니다.

위 답변은 여러 풀이 중 한 가지 예시입니다. 정답이 아니며, 외워서 그대로 말하면 면접관이 다음 질문을 그 자리에서 시작하는 경우가 많습니다. 본인의 프로젝트·기준·숫자로 다시 짜는 자리로만 쓰세요.

자주 빠지는 자리

같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.

실험 결과 수치만 나열하고 왜 그런 차이가 났는지 해석을 빠뜨립니다
개선 시도는 말하지만 가설 설정과 검증 과정을 연결해 설명하지 못합니다
프론트엔드 관점의 UI·성능·전환 영향으로 좁혀 말하지 않고 경험담에 머뭅니다

이어질 꼬리질문

진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.

壹그 인사이트가 우연이 아니라는 점은 어떻게 확인했나요?

대응표본 규모, 통계적 유의성, 세그먼트 차이를 짚어주면 신뢰도를 높이는 답변이 통합니다

貳개선안을 적용한 뒤에는 어떤 지표가 실제로 바뀌었나요?

대응전환율, 클릭률, 이탈률처럼 전후 비교 가능한 지표를 풀어주는 결이 통합니다

參실험 과정에서 프론트엔드 구현상 제약은 없었나요?

대응렌더링, 이벤트 수집, 배포 단위 같은 제약과 대응을 짚어두면 실무 이해도를 보여주기 좋습니다

이제, 직접 답해볼 차례예요.

눈으로 읽은 답은 면접장에서 나오지 않아요. 당근마켓 면접관과 이 질문으로 한 번 대화해 보세요.

이 질문으로 모의면접 해보기

안내 · 이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 실제 출제·회사 공식 입장과는 무관하며, 정정 요청 시 24시간 내 반영합니다. 자세히

개인정보처리방침 이용약관 문의

당당근마켓데이터 분석가직무 역량2026년 출제

답변 미리보기

예상 답변 시간

60~90초

예상 꼬리질문

3회

난이도

난이도 중상

출제 빈도

높음

INTERVIEWER'S INTENT · 면접관의 의도

이 질문, 네 갈래로 뜯어봅니다.

면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.

과정을 어떻게 설계했는가?

결과는 어떤가?

A/B 테스트의 결과를 해석한 흔적이 답에 있어야 합니다. 없으면 면접관이 '결과는 어땠나요?'를 추가로 묻는 경우가 흔히 보입니다.

어떤 요소를 고려했는가?

가설 설정은 어떻게 했는가?

A/B 테스트에서 세운 가설에 대한 설명이 답에 있어야 합니다. 없으면 면접관이 '어떤 가설을 세웠나요?'를 추가로 묻는 경우가 자주 보입니다.

말로 해봐야 는다

읽는 것과 말하는 건 다릅니다.
이 질문, 소리 내어 답해 볼까요?

당근마켓 면접관 페르소나가 이 질문을 던지고, 당신의 답에 꼬리질문으로 되물어요.

음성으로 답해보기

예시 답변 1

약 92초

가설 설정·표본 설계 과정 중심으로 푸는 결

이 결의 특징

이 결이 통하는 자리

예시 답변 2

약 88초

데이터 수집 신뢰성 확보 경험 중심으로 푸는 결

이 결의 특징

사용자 식별자 중복 집계 버그를 이틀 만에 발견해 바로 보고하고, 로그를 수정한 뒤 실험을 재시작한 흔적이 있습니다.

이 결이 통하는 자리

예시 답변 3

약 88초

외부 변수 통제 실수와 재실험 중심으로 푸는 결

이 결의 특징

요일을 맞추지 않아 오픈율 차이가 9%로 나왔던 실수를 인정하고, 같은 요일·시간으로 재실험해 차이가 3%로 줄어든 걸 확인한 흔적이 있습니다.

이 결이 통하는 자리

자주 빠지는 자리

같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.

실험 결과 수치만 나열하고 왜 그런 차이가 났는지 해석을 빠뜨립니다
개선 시도는 말하지만 가설 설정과 검증 과정을 연결해 설명하지 못합니다
프론트엔드 관점의 UI·성능·전환 영향으로 좁혀 말하지 않고 경험담에 머뭅니다

이어질 꼬리질문

진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.

壹그 인사이트가 우연이 아니라는 점은 어떻게 확인했나요?

대응표본 규모, 통계적 유의성, 세그먼트 차이를 짚어주면 신뢰도를 높이는 답변이 통합니다

貳개선안을 적용한 뒤에는 어떤 지표가 실제로 바뀌었나요?

대응전환율, 클릭률, 이탈률처럼 전후 비교 가능한 지표를 풀어주는 결이 통합니다

參실험 과정에서 프론트엔드 구현상 제약은 없었나요?

대응렌더링, 이벤트 수집, 배포 단위 같은 제약과 대응을 짚어두면 실무 이해도를 보여주기 좋습니다

이제, 직접 답해볼 차례예요.

눈으로 읽은 답은 면접장에서 나오지 않아요. 당근마켓 면접관과 이 질문으로 한 번 대화해 보세요.

이 질문으로 모의면접 해보기

개인정보처리방침 이용약관 문의