이커머스 도메인에서 AI 모델을 개발하고 성과를 측정한 경험으로 완결
인턴에서 상품 추천 모델을 개발하는 프로젝트에 참여하였습니다. 사용자 클릭 로그를 기반으로 협업 필터링과 콘텐츠 기반 필터링을 결합한 하이브리드 모델을 만들었습니다. 초기에는 정확도 지표만 보았으나, 실제 클릭률은 오히려 떨어졌습니다. 분석해보니 인기 상품에 편향된 추천이 문제였고, 다양성 지표를 추가하여 결과를 보정하였습니다.
CTR과 다양성 지수를 함께 보는 방식으로 평가 기준을 변경하였습니다. 이커머스에서 AI 모델은 정확도뿐 아니라 비즈니스 지표를 함께 봐야 한다는 것을 배웠으며, 이후 어떤 모델이든 사업 지표와 연결하는 습관이 생겼습니다. 좋은 모델이 좋은 추천이 아닐 수도 있습니다.