기계 학습 기반의 검색 시스템에서 지연(latency), 검색 회수(recall), 정밀도(precision)와 같은 시스템 간의 트레이드오프를 어떻게 관리했는지 이야기해 주세요.

ML 기반 검색에서 지연·재현율·정밀도는 서로 트레이드오프 관계입니다. 정확도를 높이기 위해 복잡한 모델을 쓰면 응답 지연이 늘고, 재현율을 올리면 정밀도가 떨어질 수 있습니다. 수업 프로젝트에서 dense retrieval 기반 검색을 구현할 때 임베딩 검색의 정확도는 높지만 latency가 BM25보다 느린 문제가 있었습니다. 해결 방안으로 ANN(Approximate Nearest Neighbor) 인덱스를 활용해 검색 속도를 높이고, 정확도가 중요한 단계에서는 re-ranking을 따로 적용하는 2단계 구조를 설계했습니다.

검색 시스템에서 어떤 지표를 우선할지는 사용자 경험 요구사항에서 먼저 결정해야 아키텍처 선택이 의미 있게 됩니다. 정밀도와 latency의 균형은 실제 쿼리 분포와 응답 시간 SLA를 기준으로 설정해야 합니다. 앞으로도 검색 시스템 설계에서 latency·recall·precision의 트레이드오프를 사용자 경험 요구사항 기준으로 먼저 정의하는 방식을 유지하겠습니다.

어떤 지표를 우선할지는 실제 쿼리 분포와 응답 시간 SLA에서 결정해야 합니다. 2단계 구조(ANN + re-ranking)처럼 속도와 정확도를 단계별로 분리하는 설계가 실용적인 균형을 만들 수 있습니다.