기존 대안 한계 분석 → 새 대안 제안 → 비교 검증으로 풀어내는 결
인턴 때 CS팀에서 FAQ 자동 분류 시스템을 개선하는 작업에 참여한 경험이 있습니다. 기존 방식은 키워드 매칭 기반이었는데, 질문의 표현이 조금만 달라져도 분류가 틀리는 경우가 많았습니다.
기존 대안의 장점은 설명이 쉽고 규칙을 수정하기 직관적이라는 점이었습니다. 담당자가 새 키워드를 추가하면 바로 반영됐고, 분류 결과의 이유를 추적하기 쉬웠습니다. 반면 단점은 표현 다양성에 취약하고, 키워드 목록이 길어질수록 관리 비용이 늘어난다는 점이었습니다.
제가 제안한 대안은 문장 임베딩 기반 유사도 분류였습니다. 장점은 표현이 달라도 의미가 비슷한 질문을 같은 카테고리로 묶는 능력이 뛰어나고, 신규 패턴이 들어와도 별도 규칙 추가 없이 처리된다는 점이었습니다. 단점은 모델이 틀렸을 때 이유를 설명하기 어렵고, 초기 레이블 데이터가 필요하다는 점이었습니다.
A/B 비교 결과 임베딩 방식이 분류 정확도에서 18%p 높게 나왔고, 신뢰도 낮은 케이스는 수동 검토 대기열로 빠지도록 보완했습니다.