LLM 기반 서비스나 RAG 구조에 대한 경험이 있다면 구체적인 사례를 들어 말씀해 주세요.

RAG 구조를 만들면서 검색 결과가 얼마나 좋은지 검증하는 자리가 서비스 품질을 결정하는 자리임을 경험했습니다. LLM 응답이 자연스러워 보여서 품질이 좋다고 생각했는데, 검색된 청크가 질문과 실제로 관련이 있는지 확인하지 않은 자리가 됐습니다. 나중에 몇 가지 질문으로 테스트했더니 관련 없는 청크가 검색되는 자리가 발견됐습니다. 이후에는 사전 정의된 질문-답변 쌍으로 검색 결과를 평가하는 자리를 만들었고, recall@k를 계산해서 청크 분할 방식이나 임베딩 모델을 비교했습니다.

모델 출력이 아니라 검색 단계를 먼저 검증하는 자리가 RAG 품질의 시작임을 알게 됐고, 검증 자리가 없으면 좋은 답이 나왔는지 나쁜 답이 나왔는지 알 수 없는 자리임을 배웠습니다. 그 결이 이후 RAG 구조 설계 시 검색 품질 검증 자리를 먼저 두는 결로 이어졌습니다.