예시 답변 1
약 90초
실제 평가 기준 설계 경험에서 지표 선택과 고객 경험 반영까지 서술
AI 상담 평가 벤치마크를 만들 때 가장 먼저 고민한 건 "무엇을 기준으로 좋은 상담이라고 할 것인가"였습니다. 단순 응답 정확도보다 고객이 실제로 문제를 해결했는지가 더 중요한 지표라는 걸 초반 실험에서 확인했습니다. 벤치마크 기준으로는 해결률(Resolution Rate), 응답 관련성 점수, 대화 턴 수, 그리고 에스컬레이션 비율을 주요 지표로 설정했습니다. AI 상담 개선 접근법으로는 실제 고객 대화 로그를 유형별로 분류해서, 자주 실패하는 패턴을 먼저 수정하는 방식을 씁니다. 성과 측정 방법으로는 이전 기간과 동일 조건에서 AB 비교하고, 고객 만족도 조사도 병행했습니다. 고객 경험 반영은 에스컬레이션된 대화를 직접 검토해 AI가 놓친 맥락을 찾아내는 방식으로 진행했습니다. 지표 자체보다 왜 그 지표가 의미 있는지를 먼저 정의하는 게 벤치마크 설계의 핵심이라는 걸 배웠습니다.
이 결의 특징
실패을 겪은 상황에서 개선한 Resolution Rate 도입 경험이 드러납니다.
이 결이 통하는 자리
기술 선택의 근거, 개선 결과이 명확할 때 신뢰가 쌓이는 결이 보입니다.