한국어 불균형 데이터로 NLP 모델 성능 한계 돌파
한국어 감성 분석 프로젝트에서 클래스 불균형 데이터 문제를 해결한 경험이 있습니다. 부정 리뷰가 전체의 8%에 불과해 모델이 항상 긍정으로 예측해도 정확도가 92%인 상황이었습니다. 먼저 평가 지표를 정확도에서 F1-macro로 변경해 문제를 올바르게 정의했습니다.
기술 활용으로 SMOTE 오버샘플링과 클래스 가중치 조정을 실험했고, 최종적으로 FocalLoss로 어려운 샘플에 더 많은 패널티를 부여하는 방식이 가장 효과적이었습니다. 팀원과 함께 데이터 증강을 분담해 나는 역번역(Back-translation)을, 파트너는 동의어 치환을 담당했습니다. 결과 평가로 부정 클래스 F1이 0.31에서 0.78로 향상됐고, 서비스에 투입 가능한 수준이 됐습니다. 이 경험으로 지표 선택이 문제 해결의 출발점임을 체득했습니다.