RAG 기반 심층 리서치 기능을 구현할 때 가장 중점을 두었던 부분은 무엇인가요?

RAG 시스템에서 응답 지연과 비용은 리트리벌 단계가 아니라 LLM 호출 단계에서 주로 결정된다는 걸 실측해 보고 알았습니다. top-k를 줄여도 생성 토큰 수가 크면 비용은 크게 줄지 않았고, 평균 응답 토큰을 제한하는 방향이 더 효과적이었습니다. 단순 질의에 대한 응답은 LLM을 호출하지 않고 캐시된 응답을 반환하도록 레이어를 추가했고, 반복 질의가 많은 시나리오에서 호출 수를 40% 이상 줄이는 결과가 나왔습니다.

지연 시간은 스트리밍 응답 방식으로 전환해 첫 토큰이 빨리 오는 경험을 만들었고, 전체 생성 완료까지의 시간보다 체감 속도가 훨씬 개선됐습니다. 비용은 매 응답마다 토큰 수를 로깅해 이상값을 자동으로 알리는 방향으로 이어졌습니다. 서빙 중 균형을 잡는 결은 하나의 파라미터가 아니라 여러 레이어를 같이 보는 자리임을 그 경험이 알려줬습니다.