경험 중심 1인칭 답변
인턴십에서 반복적인 수동 분류 작업을 텍스트 분류 모델로 자동화한 경험이 있습니다. 하루에 수백 건씩 들어오는 고객 피드백을 팀원이 직접 카테고리에 분류하는 작업이었는데, scikit-learn의 TF-IDF + 로지스틱 회귀 조합으로 분류 모델을 만들었고 정확도 약 87%로 수동 작업 대비 처리 시간을 하루 2시간 이상 줄였습니다. 모델 도입 초반에 특정 카테고리에서 오분류가 집중되는 패턴이 있었는데, 해당 카테고리의 학습 데이터를 보완해서 해결했습니다.
자동화는 처음 정확도보다 운영하면서 오류를 잡아가는 구조를 갖추는 것이 더 중요하다는 걸 그때 배웠습니다. 앞으로도 분류 모델 적용 시 오분류 패턴을 모니터링하고 데이터를 보완하는 루프를 함께 설계하는 방식을 유지하겠습니다. 앞으로도 분류 모델 적용 시 오분류 패턴을 모니터링하고 데이터를 보완하는 루프를 함께 설계하는 방식을 유지하겠습니다.
자동화는 초기 정확도보다 오류를 잡아가는 구조를 갖추는 것이 더 중요합니다. 특정 카테고리 오분류 집중은 학습 데이터 불균형에서 오는 경우가 가장 많습니다.