이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
통계적 실험 설계를 배우고 적용한 경험은 학교 수업에서 2수준 요인 실험(DOE)을 사용해 공정 파라미터를 최적화한 것이 있습니다. 온도, 시간, 농도 같은 변수를 요인으로 설정하고, 각 수준 조합에 따른 결과를 측정해 주효과와 교호작용을 분석했습니다. 분석 결과로 목표 품질을 달성하는 최적 조건 조합을 도출했습니다. 또 A/B 테스트 형태로 두 조건의 차이를 검증한 경험도 있습니다. 단순 비교보다 통계적 유의성을 확인하면서 결론을 내리는 방식이 더 신뢰할 수 있다는 것을 배웠습니다. 실험 설계는 시행착오를 줄이고 최소한의 실험 횟수로 최대한의 정보를 얻는 방법입니다.
통계적 실험 설계를 처음 접한 건 A/B 테스트를 담당하면서였습니다.
이커머스에서 결제 페이지 버튼 위치를 바꾸는 실험이었는데, 처음엔 1주일치 데이터만 보고 효과가 있다고 결론을 냈습니다. 그런데 담당 데이터 분석가가 샘플 수가 통계적 유의성을 확보하기엔 부족하다고 지적했습니다. 그때 p-value와 검정력(power) 개념을 처음 제대로 배웠습니다.
이후 실험 설계 시 먼저 필요한 샘플 수를 계산하고 실험 기간을 정하는 방식으로 바뀌었습니다. 귀찮아 보이던 사전 계산이 실험 결과를 잘못 해석하는 실수를 막는 핵심이라는 걸 직접 겪어보고 나서야 납득했습니다.
통계적 실험 설계에서 가장 어려운 건 현실 조건이 실험 전제를 충족하지 못하는 경우입니다.
두 그룹이 완전히 독립적이어야 한다는 A/B 테스트의 기본 전제가, 실제로는 유저 간 네트워크 효과 때문에 무너지는 상황이 있었습니다. 처리군 유저가 통제군 유저에게 영향을 줬고, 실험 결과가 순수한 처리 효과가 아니었습니다. 이미 실험이 끝난 뒤에 이 문제를 발견했습니다.
그 이후 저는 네트워크 효과가 있는 서비스에서는 유저 단위가 아닌 클러스터 단위로 실험군을 나누는 클러스터 랜덤화를 검토하게 됐습니다. 통계 기법을 아는 것과 현실에 맞게 적용할 수 있는 것은 다른 역량이라는 걸 그 경험이 가르쳐줬습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 삼성전자 공통직무·미지정 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.