RAG 프레임워크를 개발할 때, 어떤 기준으로 Coupang의 제품 카탈로그와 사용자 이력을 활용할 수 있나요?

이 이커머스 플랫폼의 제품 카탈로그를 대상으로 한다면, 검색 품질을 무엇으로 정의하느냐가 먼저라고 생각합니다. 졸업 프로젝트에서 RAG 기반 검색 시스템을 구현할 때, 가장 고민했던 것이 어떤 청크가 잘 검색되는 청크인가였습니다. 단순히 관련도 점수만 보면 인기 상품이 과도하게 상위에 노출되거나, 사용자 질문의 맥락을 놓치는 경우가 있었습니다. 그 경험을 바탕으로 기준을 두 가지로 나눴습니다. 하나는 질문과 텍스트 간의 의미적 유사도, 다른 하나는 해당 정보가 사용자 결정에 실제로 유용한가 입니다. 후자를 측정하는 건 어렵지만, 사용자의 클릭과 구매 전환 데이터를 활용할 수 있다고 생각합니다.

평가 지표를 먼저 정의하지 않으면 어떤 기준이 맞는지 판단할 수 없다는 것을 그때 배웠습니다.