임베딩 유사도 검색과 의도 분류 모델로 NLP 기반 검색 통합 경험 결
NLP 기술을 검색에 통합한 경험에서 첫 번째로 시도한 것은 의도 분류였습니다. 사용자 검색어를 카테고리로 분류하는 모델을 추가하니 질문형 쿼리와 키워드형 쿼리를 다르게 처리할 수 있었고, 각각에 맞는 결과를 보여주는 구조가 됐습니다.
두 번째로 적용한 것은 임베딩 기반 유사도 검색이었습니다. 정확한 키워드가 없어도 의미적으로 유사한 문서를 찾을 수 있어 사용자 검색 만족도가 올랐습니다. 벡터 인덱스를 직접 구축하지 않고 벡터 DB를 활용해 초기 구현 시간을 줄였습니다.
다만 NLP 모델 통합 후 레이턴시가 늘어나는 문제가 생겼습니다. 이를 해결하기 위해 자주 검색되는 쿼리 결과를 캐싱하는 레이어를 추가했고, 처음 요청 이후에는 모델 추론 없이 빠르게 응답할 수 있었습니다.