프로젝트에서 결과물의 성능을 어떻게 평가하셨나요?

머신러닝 프로젝트에서 정확도(accuracy)만 보다가 실제 문제를 놓친 경험이 있습니다. 클래스 불균형이 심한 데이터였는데, 정확도가 92%가 나왔지만 소수 클래스 재현율(recall)은 30%대였습니다. 이 경우 모델이 대다수 클래스만 예측해도 높은 정확도가 나오는 구조였습니다. 그 이후로 저는 성능 평가 시 정확도, precision, recall, F1을 함께 보고, 업무 맥락에서 어떤 오류가 더 비싼지를 기준으로 지표 우선순위를 결정하는 방식을 씁니다. 해당 프로젝트에서는 recall이 더 중요해서 threshold를 조정하고 F1 기준으로 최종 모델을 선택했습니다. 성능 평가는 숫자 하나가 아니라 비즈니스 맥락이 있어야 의미 있다는 걸 배웠습니다. 앞으로도 성능을 평가할 때 비즈니스 맥락에서 어떤 오류가 더 비싼지를 먼저 정의하는 방식을 유지하겠습니다.

성능 지표는 숫자 하나가 아니라 맥락이 있어야 의미 있습니다. 정확도 뒤에 숨은 recall을 항상 함께 봅니다.