LLM의 평가와 안전성을 보장하기 위해 어떤 벤치마크와 가드레일을 설정할 계획인가요?

LLM 평가 프로젝트에서 태스크별 벤치마크를 따로 구성하는 방식을 써본 경험이 있습니다. 일반적인 MMLU나 HellaSwag 같은 공개 벤치마크는 모델의 전반적인 역량을 보는 데 유용하지만, 실제 서비스 맥락에서 어떻게 동작하는지는 별도의 태스크별 평가셋이 더 정확하다고 느꼈습니다. 가드레일은 LLM이 원하지 않는 출력을 내는 경우를 막는 구조인데, 입력 필터링·출력 후처리·프롬프트 제약이라는 세 단계로 나눠 설계하는 게 일반적이라고 파악했습니다. 안전성 보장 측면에서는 레드팀 테스트를 통해 공격적 프롬프트에 대한 응답을 미리 수집하고, 그 결과를 기반으로 필터 규칙을 보완하는 방식이 효과적이라고 봅니다. 평가 기준으로는 정확도 외에 일관성(같은 질문에 다른 답이 나오는 비율)과 유해 콘텐츠 발생률을 별도로 트래킹하는 게 현실적인 운영에 가깝다고 생각합니다. 아직 프로덕션 수준의 LLM을 직접 운영해본 경험은 없지만, 평가 파이프라인 설계에서 재현 가능성이 제일 중요하다는 감각을 갖고 있습니다.