Tool Calling으로 외부 시스템 연동
약 70초
JSON Schema 스키마 정의 + LLM 라우팅 + 실패 피드백 + 호출 로그 관측 경험
졸업 프로젝트에서 LLM의 Tool Calling 기능으로 외부 API와 연동하는 구조를 처음 구현했습니다. 함수 스키마를 JSON Schema로 정의해서 LLM이 어떤 상황에서 어떤 도구를 쓸지 판단하게 했습니다. 처음에는 스키마를 모호하게 작성했다가 LLM이 잘못된 도구를 선택하거나 파라미터를 잘못 채우는 경우가 자주 생겼고, 스키마 설명을 구체적으로 바꾸니 해결됐습니다. 에러 처리에서는 도구 실행 실패 결과를 LLM에 다시 피드백하는 방식으로, LLM이 실패 원인을 이해하고 재시도 또는 대안을 선택하게 했습니다.
각 도구 호출의 입출력을 로그로 남겨서 어느 단계에서 흐름이 어긋났는지 추적할 수 있게 했습니다. Tool Calling은 LLM에게 외부 세계와 상호작용하는 능력을 주는 자리이고, 스키마 설계가 전체 신뢰성을 결정한다는 걸 배웠습니다.
이 결의 특징
JSON Schema로 함수 스키마를 정의해 LLM이 도구 선택을 판단하게 했고, 모호한 스키마가 잘못된 도구 선택·잘못된 파라미터를 초래한다는 것을 발견한 후 구체적 설명으로 개선했습니다. 에러 실패 결과를 LLM에 피드백하는 폐루프 구조가 있습니다.
이 결이 통하는 자리
'스키마 설계가 전체 신뢰성을 결정한다'는 원칙이 구체 실패와 개선 사이클로 입증되어, 아키텍처 결정의 무게를 이해하는 응답자로 인식되는 자리입니다.