머신러닝 모델의 성능을 평가하기 위한 지표는 무엇이 있을까요?

머신러닝 모델 품질을 개선할 때 제가 주로 거치는 실험 흐름은 데이터 → 피처 → 모델 구조 → 하이퍼파라미터 순으로 원인을 좁히는 것입니다.

감정 분류 프로젝트에서 처음에 성능이 낮게 나왔을 때, 먼저 데이터 레이블 분포를 확인했습니다. 특정 레이블이 전체의 60% 이상을 차지하는 불균형이 있었고, 이것을 해소하지 않으면 모델이 다수 레이블에 편향됩니다. 언더샘플링을 적용한 뒤 F1-score가 의미 있게 올랐습니다.

이후 피처 측면에서는 형태소 분리와 불용어 제거를 추가했고, 모델은 LSTM에서 BERT 파인튜닝으로 전환했습니다. 각 변경을 하나씩 적용하면서 어느 변경이 성능 향상에 실제로 기여했는지를 추적했습니다. 변수를 한 번에 여러 개 바꾸면 원인 파악이 어렵다는 것을 이 과정에서 배웠습니다.