예시 답변 1
약 94초
도구 사용 경험·실제 발견 중심으로 푸는 결
promptfoo를 졸업 프로젝트에서 `RAG` 파이프라인의 응답 품질을 체계적으로 테스트할 때 처음 써봤습니다. 이전에는 응답을 직접 눈으로 확인하는 방식이었는데, 질문 케이스가 늘어나면서 회귀 테스트가 어렵다는 것을 느꼈습니다. promptfoo로 테스트 케이스 파일을 구성하고, 응답이 특정 키워드를 포함하는지 또는 예상 답변과 유사한지를 자동으로 점수화해서 비교했습니다. 프롬프트를 수정할 때마다 전체 테스트를 돌리면서 이전 버전보다 나빠진 케이스가 없는지를 확인하는 방식으로 썼습니다.
garak은 직접 사용해보지 않았지만, LLM 보안 취약성 탐지에 특화된 도구라고 알고 있습니다. 도구보다 어떤 가설을 테스트할 것인가를 먼저 정의하는 것이 평가 설계에서 더 중요하다고 느꼈습니다.