머신러닝 모델의 성능을 평가하기 위해 어떤 기준을 사용하나요?

처음 ML 모델을 만들었을 때 accuracy만 보고 '잘 됐다'고 판단했다가, 클래스 불균형 상황에서 그 수치가 의미 없다는 걸 나중에 알게 됐습니다. 불량 탐지처럼 놓치는 것이 더 나쁜 태스크에서는 recall이 핵심 지표고, 반대로 스팸 필터처럼 잘못 걸러내는 것이 큰 손실인 경우엔 precision이 더 중요합니다.

혼동 행렬(confusion matrix)을 직접 그려보면서 어떤 오류 유형이 더 많은지 파악했고, 그 결과가 모델 개선 방향을 정하는 데 실제로 도움이 됐습니다. 데이터 불균형이 심할 때는 F1 score나 ROC-AUC를 함께 보는 편이 신뢰도가 높았습니다.

평가 지표는 태스크의 목적을 반영해야 한다는 걸 그 경험에서 배웠습니다. 어떤 실수를 더 허용할 수 있는지를 먼저 정한 뒤 지표를 고르는 순서가 맞았습니다.