A
약 90초
문의 유형 빈도 분석부터 시작, 단순 분류에서 점진적 개선, fallback 경로 설계, 오분류 케이스 수집→피드백 루프로 정확도 향상
고객 문의를 분석해 자동화 서비스를 개발할 때는 먼저 문의 데이터를 충분히 수집하고 어떤 유형이 가장 많은지 파악하는 것이 시작이라고 생각합니다. 반복되는 유형이 명확하게 있어야 자동화의 효과가 있기 때문입니다. 문의 분류 모델은 처음부터 복잡하게 만들기보다 키워드 기반의 단순한 분류에서 시작해 점차 개선하는 방식이 실용적이었습니다.
자동 응답이 틀렸을 때 사람이 개입하는 fallback 경로를 설계해두면 사용자 경험을 보호하면서 자동화를 점진적으로 확대할 수 있습니다. 자동화 서비스의 정확도를 주기적으로 측정하고, 오분류된 케이스를 모아 모델 개선에 반영하는 피드백 루프가 중요합니다.
자동화가 상담원을 대체하는 것이 아니라 반복 업무를 줄여 어려운 문의에 집중할 수 있게 하는 것이 목표라고 생각합니다.
이 결의 특징
3,000건 고객 채팅을 직접 라벨링하며 키워드 매칭의 한계를 발견했습니다. 문장 임베딩 + 코사인 유사도로 전환해 정확도를 올렸고, 개체명 인식으로 자동응답 템플릿을 채웠습니다.
이 결이 통하는 자리
경계 케이스가 전체의 20%라는 구체적 발견과, 이를 별도 로그로 쌓아 사람이 검토하는 흐름이 모델 개선보다 실제 정확도를 높였다는 구체적 효과가 명확할 때 통합니다.