이전 프로젝트에서 머신러닝 모델을 어떻게 개발하고 운영했는지 구체적으로 설명해 줄 수 있나요?

기존 머신러닝 모델을 개선할 때 가장 먼저 하는 건 에러 분석으로 어떤 유형의 케이스에서 틀리는지 파악하는 것입니다. 졸업 논문에서 텍스트 분류 모델의 F1이 0.72에서 더 올라가지 않는 문제를 겪었는데, 오분류 샘플을 직접 보니 짧은 텍스트와 도메인 특화 표현에서 집중적으로 실패하고 있었습니다.

도메인 특화 사전 학습 모델로 교체하고, 짧은 텍스트는 컨텍스트 윈도우를 늘려 주변 문장을 포함했더니 F1이 0.79까지 올랐습니다. 또한 클래스 불균형이 심했는데, focal loss로 교체하고 소수 클래스 오버샘플링을 함께 적용하면서 약 클래스 재현율이 개선됐습니다. 앞으로도 에러 분석 → 원인 가설 → 단일 변수 실험의 순서로 모델 개선에 접근하겠습니다. 앞으로도 에러 분석 → 원인 가설 → 단일 변수 실험의 순서로 모델 개선에 접근하겠습니다.

오분류 샘플을 직접 보는 것이 모델 개선 방향을 가장 빠르게 알려주는 방법입니다. 클래스 불균형과 도메인 특화 표현이 텍스트 분류 모델에서 가장 자주 발생하는 성능 병목입니다.