AI 시스템의 비결정성과 관련하여, 모델의 신뢰성을 어떻게 보장할 수 있을까요?

AI 모델의 비결정성은 같은 입력이 들어와도 출력이 달라질 수 있다는 특성인데, 실제로 졸업 프로젝트에서 이 문제를 마주했습니다. 텍스트 분류 모델을 서비스에 붙였을 때, 같은 리뷰를 반복 추론하면 카테고리가 다르게 나오는 경우가 약 7%였습니다. 저는 두 가지 방향으로 접근했습니다. 첫 번째는 온도(temperature) 파라미터를 낮게 고정해서 출력 분포를 좁히는 것이었고, 두 번째는 동일 입력을 3회 추론한 뒤 다수결로 최종 레이블을 결정하는 앙상블 방식이었습니다. 두 방법 모두 비결정성을 완전히 없애진 못했지만, 불일치율을 7%에서 1.8%로 줄였습니다. 이 과정에서 배운 건, 신뢰성은 모델 자체보다 출력 검증 파이프라인에서 더 많이 확보된다는 점입니다. 확신도(confidence score)가 낮은 경우에는 인간 검수로 라우팅하는 구조를 더하니, 서비스 품질 지표가 안정됐습니다. 비결정성을 제거하려 하기보다 허용 가능한 범위를 정하고, 그 밖의 경우를 어떻게 처리할지 설계하는 게 현실적인 접근이라고 봅니다.