예시 답변 1
약 90초
LLM 성능 평가 지표 선택 기준과 자동 지표의 한계를 사례로 정리한 결
저는 LLM 성능 평가에서 지표 선택을 사용 목적에 따라 나눠야 한다고 봅니다. 요약이나 번역처럼 정해진 출력이 있는 경우 BLEU·ROUGE 같은 자동 지표가 유용하지만, 오픈엔드 대화나 추론 태스크에서는 자동 지표와 사람 평가 간 상관관계가 낮아 한계가 있습니다. 실제 프로젝트에서 ROUGE-L만으로 평가했더니 유창하지만 핵심이 빠진 요약이 높은 점수를 받는 경우가 있었고, 이후 사람 평가 10%를 섞어 검증하는 방식으로 보완했습니다. 최근에는 강력한 모델을 심판으로 쓰는 LLM-as-a-Judge 방식도 확산되고 있는데, 평가자 모델의 편향을 별도로 검증할 필요가 있다는 점도 인식하고 있습니다.
이 결의 특징
ROUGE만으로 평가했다가 핵심이 빠진 요약이 높은 점수를 받은 문제를 인간 평가 혼합으로 보완한 흔적이 있습니다.
이 결이 통하는 자리
자동 지표는 사용 목적에 따라 선택해야 한다는 관점이 답에 담겨 있을 때 면접관의 신뢰가 쌓이는 자리를 자주 봅니다.