LLM 기반의 AI 에이전트 개발 경험이 있다면, 어떤 아키텍처를 설계했는지 설명해 주세요.

LLM 서비스를 설계하면서 가드레일이 없으면 서비스가 예상 밖으로 동작하는 자리를 직접 경험했습니다. RAG 서비스에서 사용자가 검색 의도가 없는 일반 대화 질문을 입력했을 때 벡터 DB에서 관련 없는 문서가 검색되고 그것이 컨텍스트로 주입되면서 이상한 답변이 나오는 자리가 생겼습니다. 입력 분류를 추가해서 질문형 입력과 일반 대화 입력을 먼저 구분하고, 후자는 문서 검색 없이 LLM이 직접 답하도록 라우팅하는 구조를 만들었습니다. 또 민감한 키워드가 포함된 입력에는 답변 거부 자리를 두는 기본 가드레일도 추가했습니다.

가드레일은 기능이 완성된 뒤 추가하는 것이 아니라 설계 초기에 함께 두는 결이 그때 생겼고, LLM 서비스의 한계는 기술보다 입력 통제 자리에서 관리된다는 결을 갖게 됐습니다. 그 결이 이후 LLM 설계에서 입력 분류와 가드레일을 아키텍처의 첫 자리로 두는 자리로 이어졌습니다.