예시 답변 1
약 100초
실패 케이스 수집·분류·개선 루프 설계 경험 중심으로 푸는 결
졸업 프로젝트에서 고객 문의에 답하는 간단한 `챗봇`을 만들었을 때, 실패 케이스를 어떻게 다룰지 설계가 미흡했던 경험이 있습니다. 초반에는 챗봇이 틀린 응답을 해도 어떤 질문에서 실패했는지 기록하지 않았고, 개선이 느렸습니다. 이후 모든 응답에 대해 사용자가 도움이 됐는지 선택하도록 구조를 바꾸고, 부정 응답이 들어오면 해당 질문과 응답을 로그에 저장했습니다. 저장된 로그를 주 1회 수동으로 분류했는데, 의도를 잘못 파악한 경우·정보가 없는 경우·표현이 틀린 경우 세 가지로 나눴습니다. 유형별로 원인이 달라서 개선 방향도 달랐습니다. 의도 오파악은 예시 발화 추가로, 정보 없음은 FAQ 확장으로, 표현 오류는 응답 템플릿 수정으로 대응했습니다. 사이클을 3회 반복하면서 부정 응답 비율이 절반 이하로 줄었습니다.
실패를 분류할 수 있어야 개선 방향이 보인다는 것을 그때 배웠습니다.