예시 답변 1
약 90초
A/B 테스트 기반 ML 모델 검증 방식
ML 모델의 비즈니스 효과를 검증할 때 오프라인 지표와 온라인 A/B 테스트를 함께 사용하는 방식을 철칙으로 삼습니다. 오프라인 AUC가 높아도 실제 서비스에서 효과가 없는 경우를 여러 번 경험했기 때문입니다. 검증 방식으로 먼저 홀드아웃 셋으로 오프라인 성능을 측정하고, 기준을 통과한 모델만 트래픽 5%로 A/B 테스트를 시작합니다.
데이터 분석 과정에서 A/B 테스트 결과를 해석할 때 통계적 유의성(p<0.05)과 효과 크기(Cohen's d)를 함께 확인해 우연한 변동과 실제 개선을 구분했습니다. 성과로 추천 모델 교체 프로젝트에서 이 방식으로 오프라인 기준 탈락 모델이 온라인에서 더 좋은 성능을 보이는 역설적 상황을 발견하고, 오프라인 평가 지표 자체를 재설계하는 계기가 됐습니다. 결과적으로 CTR이 11% 향상됐고, 검증 프로세스의 신뢰성도 높아졌습니다.
이 결의 특징
오프라인 AUC가 높아도 실서비스에서 효과가 없던 경험을 먼저 꺼내, 검증을 신념이 아니라 데인 경험으로 정당화한 점이 또렷합니다. 통계적 유의성과 효과 크기를 함께 본 대목이, 오프라인 탈락 모델이 온라인에서 이긴 역설을 발견하게 만든 결이 보입니다.
이 결이 통하는 자리
오프라인 기준 통과 모델만 5% 트래픽으로 올리는 게이트가 또렷하고, 그 역설이 평가 지표 재설계로 이어진 흐름이 살아 있을 때 통합니다. CTR 11%를 자랑이 아니라 검증 신뢰성과 묶어 닫은 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.