예시 답변 1
약 90초
LLM 기반 생성 시스템 품질 지표 설계
LLM 기반 문서 요약 시스템의 품질을 평가하기 위해 자동 지표와 사람 평가를 혼합한 체계를 구성했습니다. 자동 지표로는 ROUGE-L(정보 유지), BERTScore(의미 유사도), 응답 길이 일관성을 측정했습니다. 하지만 자동 지표만으론 할루시네이션을 잡기 어렵다는 한계를 발견했고, 사실 정확도 체크리스트를 추가했습니다. 지표별 가중치를 정할 때 비즈니스 담당자와 함께 '어떤 오류가 가장 비싸게 먹히는가'를 논의했고, 사실 오류 패널티를 가장 높게 설정했습니다. 매 릴리스마다 지표가 자동으로 측정되도록 평가 파이프라인을 CI에 통합했습니다. 지표 체계를 만든 뒤 팀 내 '좋은 요약이 뭔가'에 대한 정렬이 훨씬 빨라졌습니다.
이 결의 특징
ROUGE-L, BERTScore, 응답 길이 일관성이라는 자동 지표만으로는 할루시네이션을 잡기 어렵다는 한계를 직접 발견하고 사실 정확도 체크리스트를 추가한 흔적이 있습니다. '어떤 오류가 가장 비싸게 먹히는가'라는 비즈니스 가중치 논의를 이해관계자와 진행한 과정이 서술돼, 지표 설계가 기술 판단과 비즈니스 판단의 결합임을 보여주는 결입니다.
이 결이 통하는 자리
LLM 기반 생성 시스템을 프로덕션에 배포하고 품질을 지속 관리해야 하는 팀 면접에서 이 결이 통합니다. 지표 체계를 만든 뒤 '팀 내 좋은 요약에 대한 정렬이 빨라졌다'는 조직적 효과가 언급돼, 기술 지표가 팀 정렬 도구로도 작동한다는 관점이 드러나는 자리입니다.