에이전트의 성능 평가 및 최적화 루프 구축 경험에 대해 이야기해 주세요.

에이전트 성능을 측정하기 시작했을 때 가장 먼저 만든 것은 평가 데이터셋이었습니다. 임의로 테스트하면 같은 입력에도 결과가 달라 보이기 때문에, 반복 가능한 비교를 하려면 고정된 입력 셋이 필요했습니다.

50개의 대표적인 입력 케이스를 모아 각각에 대한 기대 출력을 기록했습니다. 처음에는 모두 사람이 직접 평가했는데 시간이 오래 걸려서, 명확한 판단 기준이 있는 케이스는 자동으로 채점하는 스크립트를 만들었습니다. 도구 호출 여부, 응답 형식 준수 여부처럼 규칙이 명확한 부분은 자동 검증이 가능했습니다.

프롬프트를 수정할 때마다 이 평가 셋으로 회귀 테스트를 했더니 의도치 않은 성능 저하를 사전에 잡을 수 있었습니다. 한 가지 케이스에서 성능이 올라갔는데 다른 케이스에서 떨어지는 상황이 여러 번 있었고, 평가 셋이 없었다면 놓쳤을 회귀였습니다. 에이전트 개선은 전체 케이스를 커버하는 평가 셋 없이는 진전을 측정하기 어렵다는 생각이 자리 잡혔습니다.