RAG와 GraphRAG 시스템을 설계할 때 어떤 접근 방식을 사용하나요?

RAG 시스템을 처음 구축할 때 문서를 고정 512 토큰으로 잘라 임베딩했는데 검색 결과가 맥락을 잃는 경우가 많았어요. "왜 이 청크가 나왔지?"를 보면 문단 중간에서 잘려 핵심 맥락이 절반씩 두 청크에 걸쳐 있었습니다. 고정 길이 분할의 한계였어요.

그 이후 문단·섹션 경계를 기준으로 자르는 `semantic chunking`으로 전환하고, 청크 간 overlap도 추가했습니다. 동일한 질문에 대한 답변 정합성이 눈에 띄게 높아졌어요.

RAG의 품질은 모델보다 청킹 전략에 더 크게 좌우된다는 걸 그 경험에서 먼저 배웠습니다. 지금은 시스템 설계 초반에 청킹 전략을 별도 실험 항목으로 먼저 분리해서 검증하는 순서를 씁니다. 검색 품질의 절반은 청킹 설계에서 결정된다는 게 경험에서 나온 추정이에요.