재랭킹 vs 하이브리드 선택 이유
저는 하이브리드 검색을 선택했습니다. 사용자 쿼리가 짧고 키워드 의존도가 높은 서비스였기 때문에, 벡터 검색만으로는 정확한 텍스트 매칭이 약하다는 한계가 있었습니다. BM25와 ANN을 결합해서 RRF(Reciprocal Rank Fusion)으로 최종 순위를 합산하는 방식을 썼고, 단순 벡터 검색 대비 MRR이 0.07 향상됐습니다. 재랭킹은 모델 추가 비용이 있고, 쿼리당 레이턴시가 늘어나는 게 해당 서비스에선 허용 범위를 벗어났습니다.
정확도와 응답 속도 균형을 고려했을 때 하이브리드가 더 맞는 선택이었습니다. 레이턴시 제약이 있는 환경에서는 정확도만 볼 수 없습니다. 속도와 정확도의 균형이 결국 사용자 경험을 결정하고, 그 균형점을 데이터로 잡는 게 실무의 핵심입니다.