ML 성능 평가: 태스크 목적에 맞는 지표 선택과 혼동 행렬 분석
약 70초
모델 성능을 평가할 때 어떤 기준을 사용하는지 설명
처음 ML 모델을 만들었을 때 accuracy만 보고 '잘 됐다'고 판단했다가, 클래스 불균형 상황에서 그 수치가 의미 없다는 걸 나중에 알게 됐습니다. 불량 탐지처럼 놓치는 것이 더 나쁜 태스크에서는 recall이 핵심 지표고, 반대로 스팸 필터처럼 잘못 걸러내는 것이 큰 손실인 경우엔 precision이 더 중요합니다.
혼동 행렬(confusion matrix)을 직접 그려보면서 어떤 오류 유형이 더 많은지 파악했고, 그 결과가 모델 개선 방향을 정하는 데 실제로 도움이 됐습니다. 데이터 불균형이 심할 때는 F1 score나 ROC-AUC를 함께 보는 편이 신뢰도가 높았습니다.
평가 지표는 태스크의 목적을 반영해야 한다는 걸 그 경험에서 배웠습니다. 어떤 실수를 더 허용할 수 있는지를 먼저 정한 뒤 지표를 고르는 순서가 맞았습니다.
이 결의 특징
accuracy만 보고 잘 됐다고 판단했다가 클래스 불균형에서 무의미하다는 걸 안 구체 실패와, 혼동 행렬로 오류 유형을 파악한 개선이 담긴 흔적이 있습니다.
이 결이 통하는 자리
평가 지표가 태스크의 목적을 반영해야 한다는 관점이 구체 실패와 함께 드러날 때 통합니다.