A
약 80초
ML 모델 개선 실험 경험 구체화
기존 머신러닝 모델을 개선할 때 가장 먼저 하는 건 에러 분석으로 어떤 유형의 케이스에서 틀리는지 파악하는 것입니다. 졸업 논문에서 텍스트 분류 모델의 F1이 0.72에서 더 올라가지 않는 문제를 겪었는데, 오분류 샘플을 직접 보니 짧은 텍스트와 도메인 특화 표현에서 집중적으로 실패하고 있었습니다.
도메인 특화 사전 학습 모델로 교체하고, 짧은 텍스트는 컨텍스트 윈도우를 늘려 주변 문장을 포함했더니 F1이 0.79까지 올랐습니다. 또한 클래스 불균형이 심했는데, focal loss로 교체하고 소수 클래스 오버샘플링을 함께 적용하면서 약 클래스 재현율이 개선됐습니다. 앞으로도 에러 분석 → 원인 가설 → 단일 변수 실험의 순서로 모델 개선에 접근하겠습니다. 앞으로도 에러 분석 → 원인 가설 → 단일 변수 실험의 순서로 모델 개선에 접근하겠습니다.
오분류 샘플을 직접 보는 것이 모델 개선 방향을 가장 빠르게 알려주는 방법입니다. 클래스 불균형과 도메인 특화 표현이 텍스트 분류 모델에서 가장 자주 발생하는 성능 병목입니다.
이 결의 특징
단순히 모델 성능을 높이는 것이 아니라, 어디서 틀리는지부터 파악해 원인을 추적한다는 논리입니다. 에러분석에서 가설, 실험으로 이어지는 순차적 사고방식이 엿보입니다.
이 결이 통하는 자리
모델을 지속적으로 운영해야 하는 조직에서 높게 평가됩니다. 추측이 아닌 데이터 기반 의사결정 문화가 있는 팀에 어울립니다.