벡터DB를 활용한 검색 최적화 경험에 대해 설명해 주세요.

검색 시스템을 만들고 나서 결과 품질을 어떻게 측정할 것인가가 더 어려운 자리임을 프로젝트를 마치고 나서야 알았습니다. NLP 프로젝트에서 의미 기반 검색을 구현하고 처음 확인한 건 Recall@10 수치였는데, 단순히 유사도가 높은 문서가 상위에 오는지만 확인했습니다. 이후 실제 사용자 질문 10개로 직접 테스트해 보니 기대한 문서가 빠진 경우가 3건이나 있었고, 유사도 임계값을 어디에 두느냐에 따라 결과가 크게 달라졌습니다.

임계값을 낮추면 재현율은 높아지지만 노이즈가 늘었고, 높이면 정작 필요한 문서가 누락됐습니다. 검색 결과 품질은 지표 하나로 판단하는 게 아니라 정밀도와 재현율을 오가는 트레이드오프 자리임을 그 경험이 처음 알려줬습니다. 지표를 정하는 결과 실제로 사람이 테스트하는 결 사이에 큰 차이가 있다는 걸 이 프로젝트에서 배웠습니다.