예시 답변 1
약 90초
추천 모델 AB 테스트로 라이브 전환
협업 필터링 기반 추천 모델을 라이브에 올릴 때 가장 긴장됐던 지점은 오프라인 지표(nDCG)와 온라인 지표(CTR)의 괴리였습니다. 저는 트래픽 10%로 AB 테스트를 먼저 시작해 일주일간 지표를 관찰했고, CTR +4.2%를 확인한 뒤 순차적으로 비중을 올렸습니다. 배포 직후 응답 레이턴시 급등 문제가 발생해 인퍼런스 서버 캐시 레이어를 추가했는데, 이때 서비스 엔지니어와 긴밀하게 협업한 경험이 이후 배포 루틴 표준화의 기반이 됐습니다. 이 경험으로 모델 품질만큼 서빙 안정성을 함께 고려하는 습관이 생겼습니다.
오프라인 지표만 보고 배포하면 온라인에서 실망하는 패턴이 반복되기 때문에, 지금도 AB 테스트를 기본 배포 절차로 삼고 있습니다.
이 결의 특징
트래픽 10%로 AB 테스트를 먼저 시작하고 CTR +4.2%를 확인한 뒤 순차적으로 비중을 올렸다는 배포 절차가 오프라인·온라인 지표 괴리에 대한 경험에서 나왔다는 흐름이 분명합니다. 배포 직후 레이턴시 급등 문제를 서비스 엔지니어와 함께 해결했다는 일화는 모델 배포가 혼자 완성하는 작업이 아니라는 감각을 드러내는 결이 보입니다.
이 결이 통하는 자리
AB 테스트를 기본 배포 절차로 삼는다는 원칙이 이번 경험에서 생겼다는 흔적이 살아 있을 때, 단일 배포 경험이 아닌 반복 적용 가능한 방법론으로 굳어진 감각을 확인하려는 자리에서 꼬리질문이 줄어드는 결이 자주 보입니다.