문의 유형 빈도 분석부터 시작, 단순 분류에서 점진적 개선, fallback 경로 설계, 오분류 케이스 수집→피드백 루프로 정확도 향상
고객 문의를 분석해 자동화 서비스를 개발할 때는 먼저 문의 데이터를 충분히 수집하고 어떤 유형이 가장 많은지 파악하는 것이 시작이라고 생각합니다. 반복되는 유형이 명확하게 있어야 자동화의 효과가 있기 때문입니다. 문의 분류 모델은 처음부터 복잡하게 만들기보다 키워드 기반의 단순한 분류에서 시작해 점차 개선하는 방식이 실용적이었습니다.
자동 응답이 틀렸을 때 사람이 개입하는 fallback 경로를 설계해두면 사용자 경험을 보호하면서 자동화를 점진적으로 확대할 수 있습니다. 자동화 서비스의 정확도를 주기적으로 측정하고, 오분류된 케이스를 모아 모델 개선에 반영하는 피드백 루프가 중요합니다.
자동화가 상담원을 대체하는 것이 아니라 반복 업무를 줄여 어려운 문의에 집중할 수 있게 하는 것이 목표라고 생각합니다.