이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
학교 마케팅 수업에서 A/B 테스트를 직접 설계하는 과제를 맡았습니다. 처음에는 메시지 문구와 이미지, 발송 시간을 동시에 바꾸려 했는데 교수님께서 한 번에 하나만 바꿔야 인과관계를 알 수 있다는 피드백을 주셨습니다. 그 이후 메시지 CTA 문구만 단일 변인으로 설정하는 방식으로 재설계했습니다. 실습 데이터에서 '지금 확인하기'와 '매물 보러 가기'를 비교했고, 후자가 클릭률이 23% 높게 나왔습니다.
실제 행동 유도 언어를 쓰는 게 더 효과적이라는 가설이 데이터로 뒷받침됐습니다. A/B 테스트는 변인 하나만 바꾸는 규율이 결과를 의미 있게 만든다는 걸 배웠습니다.
동아리 앱 서비스에서 푸시 알림 오픈율이 낮아서 발송 시간을 바꾸는 실험을 했습니다. 오전 9시와 오후 7시에 각각 메시지를 보내서 오픈율을 비교했습니다. 처음에는 두 시간대에 사용자 수가 다르다는 걸 고려하지 않아서 단순 오픈 수만 비교했고, 오류 있는 결론을 냈습니다.
오픈율(오픈 수/발송 수) 기준으로 재분석하니 실제로는 거의 차이가 없었습니다. 그 실패 덕분에 지표를 절대값이 아닌 비율로 봐야 한다는 걸 체감했습니다. 타이밍보다 메시지 내용이 더 중요하다는 결론을 내고, 이후에는 내용 위주로 테스트 방향을 바꿨습니다.
경험을 통해 배웠습니다. 앞으로도 이 방향으로 성장하겠습니다.
수업에서 처음 A/B 테스트 결과를 해석하면서 어느 정도 차이가 나야 의미 있는지를 몰랐습니다. 실험에서 클릭률이 1.2%p 차이가 났는데 유의미한지 판단을 못 했습니다. 통계적 유의성 개념을 찾아보면서 샘플 크기가 충분하지 않으면 어떤 차이도 신뢰하기 어렵다는 걸 배웠습니다. 제 실험의 샘플이 너무 작아서 해당 결과는 방향성 참고 수준에 불과하다는 걸 솔직하게 보고서에 기재했습니다.
교수님이 한계를 명확히 기술한 점을 좋게 평가해주셨습니다. A/B 테스트는 설계만큼이나 결과를 과잉 해석하지 않는 절제가 중요하다는 걸 배웠습니다. 그 과정이 값진 배움이었습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 직방 디지털·퍼포먼스 마케팅 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.