면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
모델 효과 검증에서 저는 오프라인 지표(정확도·AUC)와 온라인 지표(클릭률·전환율)를 반드시 함께 봐야 한다고 생각합니다. 두 지표가 어긋나는 경우를 실습 프로젝트에서 직접 겪었기 때문입니다.
추천 모델의 오프라인 정확도는 개선됐는데, 실제 A/B 테스트에서는 클릭률이 오히려 소폭 하락한 적이 있습니다. 원인을 보니 정확도는 올랐지만 추천 다양성이 줄어 사용자가 지루함을 느낀 것으로 추정됐습니다.
그 이후로는 오프라인 검증만으로 배포를 결정하지 않고, 반드시 소규모 A/B 테스트를 거쳐 온라인 지표까지 확인하는 절차를 원칙으로 삼고 있습니다.
다변량 테스트를 설계할 때 가장 중요하게 보는 것은 변수 조합이 늘어날수록 필요한 표본이 급격히 커진다는 점입니다. 변수 3개를 각각 2개 버전으로 테스트하면 조합이 8개로 늘어나, 단순 A/B 테스트보다 훨씬 많은 트래픽이 필요합니다.
학회 프로젝트에서 이 부분을 간과하고 4개 변수를 한 번에 테스트하려다 조합당 표본이 부족해 결론을 내리지 못한 경험이 있습니다. 이후에는 변수를 2개 이하로 줄이거나, 영향이 클 것으로 예상되는 변수부터 순차적으로 테스트하는 방식으로 바꿨습니다.
다변량 테스트는 편리해 보이지만 표본 여력을 먼저 계산하고 시작해야 한다고 생각합니다.
지표 설정 기준으로는 북극성 지표(핵심 성공 지표)와 가드레일 지표(악화되면 안 되는 지표)를 함께 정의하는 것을 원칙으로 합니다.
예를 들어 추천 모델 실험에서 클릭률을 북극성 지표로 삼더라도, 페이지 로딩 속도나 이탈률 같은 가드레일 지표가 함께 나빠지지 않는지 반드시 확인합니다. 실습에서 클릭률만 보고 배포했다가 페이지 응답 속도가 늦어져 전체 이탈률이 오른 사례를 보고 이 원칙을 세우게 됐습니다.
하나의 지표만 보면 다른 곳에서 손실이 생겨도 놓치기 쉽다고 생각합니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.