추천 또는 광고 플랫폼 개발 경험이 있으신가요? 해당 프로젝트에서의 역할을 말씀해 주세요.

추천 모델을 개선하고 오프라인 평가에서 Precision과 Recall이 올랐는데, 실제 서비스에서 클릭률이 기대만큼 개선되지 않은 경험이 있습니다. 오프라인 평가는 과거 데이터를 기준으로 하는데, 사용자가 실제로 클릭하는 것과 오프라인 정답 레이블이 일치하지 않는 부분이 있었습니다. 오프라인에서 좋은 추천이라고 판단된 것이 실제 사용자에게는 이미 알고 있는 것이거나 관심 없는 것일 수 있다는 것을 알게 됐습니다. A/B 테스트로 두 모델의 온라인 클릭률을 직접 비교하니 오프라인 지표 차이만큼 온라인 결과가 달라지지 않았고, 이 차이가 어디서 오는지를 분석하는 과정에서 추천 시스템 평가의 복잡성을 이해하게 됐습니다. 추천 시스템 개선에서 오프라인 지표는 방향을 가늠하는 데 유용하지만 최종 판단은 온라인 실험으로 해야 하고, 두 지표의 괴리가 있을 때 그 원인을 이해하는 것 자체가 중요한 학습이라는 것을 이 경험에서 배웠습니다.