실패 감지와 복구 장치를 중심으로 설명한다
AI 에이전트를 개발할 때 저는 모델이 잘못된 판단을 내릴 수 있다는 전제하에 검증 단계를 두는 것이 가장 중요하다고 생각합니다. 학부 프로젝트에서 자연어 명령을 해석해 작업을 수행하는 에이전트를 만들었을 때, 모델이 의도를 잘못 해석해 엉뚱한 동작을 실행하는 경우가 종종 있었습니다.
이후 저는 에이전트가 특정 동작을 수행하기 전에 해석한 의도를 사용자에게 다시 확인받는 단계를 추가했습니다. 이 장치를 넣은 뒤 오작동으로 인한 문제가 크게 줄었습니다.
이 경험으로 AI 시스템은 정확도를 높이는 것만큼이나 오판을 사용자가 되돌릴 수 있는 구조를 만드는 것이 중요하다는 것을 배웠습니다.