LLM으로 검색 품질을 개선한 경험을 설명하기
약 87초
RAG 구조나 프롬프트 튜닝으로 검색 품질을 높인 실제 경험을 전달한다
개인 프로젝트에서 사내 문서 검색 시스템을 LLM 기반으로 개선하는 실험을 진행했습니다. 기존 키워드 검색은 질문과 문서 표현이 달라서 관련 문서를 찾지 못하는 문제가 자주 발생했습니다.
적용한 방식은 RAG(검색 증강 생성) 구조였습니다. 문서를 임베딩으로 변환하여 벡터 DB에 저장하고, 사용자 질문도 임베딩으로 변환해 코사인 유사도 기준 Top-K 문서를 검색한 뒤 LLM에게 문맥으로 넣어 답변을 생성하는 흐름이었습니다. 처음에 청크 사이즈를 너무 크게 설정했더니 관련 없는 정보가 문맥에 섞여 LLM 답변이 흔들리는 문제가 발생했고, 청크를 300토큰 이하로 줄이고 오버랩을 주는 방식으로 개선했습니다.
Precision@3이 0.52에서 0.71로 향상되었는데, 청크 설계 하나가 이렇게 크게 영향을 줄 줄 몰랐습니다.
LLM은 검색의 마지막 단계가 아니라 검색 결과를 재해석하는 레이어라고 생각합니다. 검색 품질은 임베딩 설계와 청크 구조에서 먼저 결정되고, LLM은 그 위에서 작동합니다.
이 결의 특징
사내 문서 검색에 RAG 구조를 적용했습니다. 임베딩 기반 Top-K 검색과 LLM 답변 생성 흐름이 구체적입니다. 청크 사이즈 오류(초대형 설정)로 관련 없는 정보 혼입을 경험했고, 300토큰 이하·오버랩 방식으로 개선해 Precision@3을 0.52→0.71로 향상시켰습니다.
이 결이 통하는 자리
청크 설계 하나가 성능을 크게 좌우한다는 깨달음을 언급할 때, LLM이 검색의 마지막 단계가 아니라 재해석 레이어라는 아키텍처 이해가 살아 있습니다.