sentence-transformers + FAISS 조합, 청크 크기가 검색 품질에 미치는 영향 체감
임베딩 및 검색 파이프라인을 설계할 때 사용한 기술 스택은 sentence-transformers로 임베딩을 생성하고, FAISS로 근사 최근접 탐색을 구현하는 조합이었습니다. 수업 프로젝트에서 문서 검색 시스템을 만들면서 처음 써봤는데, 청킹(Chunking) 전략이 검색 품질에 생각보다 큰 영향을 준다는 걸 배웠습니다. 청크 크기가 너무 크면 관련 없는 내용이 함께 포함되고, 너무 작으면 맥락이 잘려서 랭킹이 부정확해집니다.
오버랩 청킹으로 청크 간 경계의 맥락 손실을 줄이는 방식을 썼습니다. 리랭킹 측면에서는 cross-encoder를 2차 랭킹에 쓰면 정밀도가 올라가는 걸 확인했습니다. 한계는 멀티모달 임베딩이나 하이브리드 검색(BM25 + Dense)은 이론으로만 알고 있습니다.