예시 답변 1
약 90초
대화 품질 지표 체계 개선 사이클 결
대화 품질 개선을 위한 성능 테스트는 챗봇 프로젝트에서 응답 적절성을 측정하는 평가 루틴을 만들면서 처음 체계화했습니다. 초반에는 사람이 직접 응답을 보고 좋다/나쁘다를 판단했는데, 이 방식은 시간이 많이 들고 기준이 주관적이었습니다. 응답 관련성, 답변 완결성, 금지 표현 포함 여부를 항목으로 나눠 각각 별도로 측정하는 구조로 바꿨습니다.
LLM-as-judge 방식으로 별도 모델이 응답을 채점하게 했는데, 사람 평가와 비교했을 때 상관관계가 높아 반복 테스트에 활용할 수 있었습니다. 회귀 테스트 역할도 겸하도록 설계했는데, 프롬프트를 수정한 뒤 동일 질문 세트를 돌려 이전보다 나빠진 항목이 없는지를 먼저 확인했습니다. 대화 품질 테스트는 측정할 수 없는 것은 개선할 수 없다는 것을 직접 경험한 결임을 배웠습니다.
이 결의 특징
`LLM-as-judge` 방식으로 별도 모델이 응답을 채점하게 했는데, 사람 평가와 비교했을 때 상관관계가 높아 반복 테스트에 활용할 수 있었습니다
이 결이 통하는 자리
대화 품질 지표 체계 개선 사이클 결이 있습니다