모델 성능 평가와 벤치마크 설계에서 어떤 정량적 분석 방법을 사용했는지 설명해 줄 수 있어?

모델 성능 평가 프로젝트에서 단순 정확도만 보면 현장 요구와 다르다는 것을 초반에 겪었습니다. 정밀도, 재현율, F1 스코어를 함께 보는 방향으로 바꿨고, 어떤 오류가 더 비싼지를 기준으로 가중치를 달리 설정하였습니다. 벤치마크는 실제 서비스 데이터 분포를 반영한 테스트셋을 별도로 구성하였습니다.

훈련 데이터와 비슷한 테스트셋으로는 편향된 평가가 나온다는 것을 직접 확인하였고, 그 이후로는 항상 분포를 먼저 점검하게 되었습니다. 결과 해석에서도 수치보다 어떤 경우에 틀리는지를 분석하는 것이 더 유용하였습니다. 오류 패턴 분석이 다음 개선 방향을 결정하더라고요. 성능 평가는 숫자를 내는 것이 아니라 방향을 정하는 도구라고 생각하게 되었습니다.