면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
추천 모델 프로젝트에서 기존 협업 필터링 모델과 새로 만든 임베딩 기반 모델을 소규모 A/B 테스트로 직접 비교했습니다. 오프라인 지표(NDCG)는 신규 모델이 8% 높았지만, 실제 트래픽에서도 같은지 확인이 필요했습니다.
전체 트래픽의 10%만 신규 모델에 노출시켜 2주간 실험했고, 클릭률이 기존 대비 5%p 높게 나왔습니다. 오프라인과 온라인 결과 방향이 일치한 것을 확인한 뒤에야 전체 배포를 제안했습니다.
오프라인 성능만 믿고 바로 전면 배포하지 않은 것이 이 프로젝트의 핵심 판단이었습니다.
약 500만 건 규모의 로그 데이터를 활용한 A/B 테스트에서, 전체 데이터를 매번 재처리하면 분석 시간이 6시간 이상 걸리는 문제가 있었습니다.
저는 일별로 집계된 요약 테이블을 미리 만들어 두고, 실험 기간 동안은 그 요약 테이블만 조회하는 방식으로 바꿨습니다. 분석 시간이 6시간에서 20분으로 줄어, 중간 점검을 하루 단위로 자주 할 수 있게 됐습니다.
대용량 데이터에서는 분석 설계만큼 처리 파이프라인 설계도 실험 속도에 큰 영향을 준다는 것을 배웠습니다.
이미지 분류 모델 프로젝트에서 단순 정확도만으로는 실제 서비스 품질을 설명하기 부족하다고 판단해, 오분류 시 사용자 불만이 큰 클래스에 가중치를 둔 품질지표를 직접 정의했습니다.
이 지표를 기준으로 두 모델 버전을 A/B 테스트했더니, 전체 정확도는 비슷했지만 새 모델이 가중치 지표에서 더 나은 결과를 보였습니다. 처음 시도한 가중치 방식은 균형이 맞지 않아 재조정이 필요했는데, 실제 오분류 사례를 검토하며 가중치를 다시 잡았습니다.
지표를 스스로 정의하고 검증하는 과정이 이 프로젝트에서 가장 오래 걸린 부분이었습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.