RAG 성능 고도화에서 가장 먼저 손댈 지표/실험은 무엇인가요?

RAG 성능 고도화에서 가장 먼저 확인하는 지표는 Retrieval 단계의 정확도입니다.

생성(Generation)이 아무리 좋아도 검색(Retrieval) 단계에서 관련 문서를 제대로 가져오지 못하면 답변 품질이 무너집니다. 구체적으로는 `Recall@k`와 `MRR(Mean Reciprocal Rank)`를 먼저 측정합니다. 정답 문서가 Top-k 안에 들어오는지, 얼마나 상위에 위치하는지를 보는 지표입니다.

이후 실험 방향으로는 청크 분할 방식과 임베딩 모델 선택을 가장 먼저 손봅니다. 청크가 너무 크면 관련 없는 내용이 포함되고, 너무 작으면 맥락이 잘립니다. 질문 유형별로 최적 청크 크기가 다를 수 있어서, A/B 실험으로 비교합니다. 임베딩 모델도 도메인 특화 모델이 범용 모델보다 나은 경우가 있어 비교 실험을 설계합니다. 학부 NLP 수업과 개인 프로젝트에서 LangChain 기반 RAG를 구현해보면서 배운 접근 방식입니다.