Tool Calling으로 외부 시스템 연동
약 70초
JSON Schema 스키마 정의 + LLM 라우팅 + 실패 피드백 + 호출 로그 관측 경험
졸업 프로젝트에서 LLM의 Tool Calling 기능으로 외부 API와 연동하는 구조를 처음 구현했습니다. 함수 스키마를 JSON Schema로 정의해서 LLM이 어떤 상황에서 어떤 도구를 쓸지 판단하게 했습니다. 처음에는 스키마를 모호하게 작성했다가 LLM이 잘못된 도구를 선택하거나 파라미터를 잘못 채우는 경우가 자주 생겼고, 스키마 설명을 구체적으로 바꾸니 해결됐습니다. 에러 처리에서는 도구 실행 실패 결과를 LLM에 다시 피드백하는 방식으로, LLM이 실패 원인을 이해하고 재시도 또는 대안을 선택하게 했습니다.
각 도구 호출의 입출력을 로그로 남겨서 어느 단계에서 흐름이 어긋났는지 추적할 수 있게 했습니다. Tool Calling은 LLM에게 외부 세계와 상호작용하는 능력을 주는 자리이고, 스키마 설계가 전체 신뢰성을 결정한다는 걸 배웠습니다.