ML 모델 최적화 경험 — 하이퍼파라미터 튜닝과 교차검증 중심
머신러닝 모델을 최적화할 때는 무엇이 성능에 가장 큰 영향을 주는지를 먼저 파악하는 것이 중요합니다. 무턱대고 하이퍼파라미터를 바꾸면 어떤 변경이 효과를 냈는지 알기 어렵기 때문에, 한 번에 하나씩 변경하는 방식을 씁니다. 수업 과제에서 분류 모델을 튜닝할 때, 러닝레이트와 트리 깊이를 그리드 서치로 탐색하고 교차 검증으로 과적합 여부를 확인했습니다. 단순히 검증 정확도만 보는 게 아니라 학습 곡선을 그려서 과적합·과소적합 여부를 확인하는 것이 도움이 됐습니다. 성능이 잘 안 오를 때는 모델보다 데이터 품질을 먼저 의심합니다. 이상치 처리나 피처 엔지니어링이 모델 변경보다 효과적인 경우가 많았습니다.
최적화는 좋은 모델을 고르는 것만큼 데이터를 제대로 이해하는 것이라는 걸 반복 경험으로 배웠습니다.