백엔드 엔지니어링 경험 중에서 추천 시스템의 전체 수명 주기를 다룬 사례를 설명해 주세요.

추천 시스템을 만들면서 오프라인 지표와 온라인 지표의 차이를 경험한 후, 이 차이를 다음 프로젝트에서 반복하지 않기 위한 절차를 만들기 시작했습니다.

정밀도 같은 오프라인 지표가 높아도 실제 사용자에게 보여줬을 때 반응이 다를 수 있다는 것을 경험했습니다. 이후 ML 모델을 배포할 때 비즈니스 지표를 사전에 정의하고 배포 후 추적하는 단계를 체크리스트로 만들었습니다.

이 체크리스트는 '어떤 비즈니스 지표를 개선하는가', '오프라인 평가 지표는 무엇인가', '배포 후 어떤 방식으로 효과를 확인하는가' 세 항목으로 구성했습니다. 팀 프로젝트에서 이 질문에 먼저 답하고 나서 개발을 시작하니 중간에 방향을 바꾸는 경우가 줄었습니다.

추천 시스템은 모델 정확도보다 실제 사용자 행동이 원하는 방향으로 바뀌는지를 확인하는 것이 더 핵심 목표라는 생각이 이 경험에서 자리 잡혔습니다.