AI 상담 평가/개선 자동화에서 벤치마크를 어떤 기준으로 만들었나요?

AI 상담 평가 벤치마크를 만들 때 가장 먼저 고민한 건 "무엇을 기준으로 좋은 상담이라고 할 것인가"였습니다. 단순 응답 정확도보다 고객이 실제로 문제를 해결했는지가 더 중요한 지표라는 걸 초반 실험에서 확인했습니다. 벤치마크 기준으로는 해결률(Resolution Rate), 응답 관련성 점수, 대화 턴 수, 그리고 에스컬레이션 비율을 주요 지표로 설정했습니다. AI 상담 개선 접근법으로는 실제 고객 대화 로그를 유형별로 분류해서, 자주 실패하는 패턴을 먼저 수정하는 방식을 씁니다. 성과 측정 방법으로는 이전 기간과 동일 조건에서 AB 비교하고, 고객 만족도 조사도 병행했습니다. 고객 경험 반영은 에스컬레이션된 대화를 직접 검토해 AI가 놓친 맥락을 찾아내는 방식으로 진행했습니다. 지표 자체보다 왜 그 지표가 의미 있는지를 먼저 정의하는 게 벤치마크 설계의 핵심이라는 걸 배웠습니다.