예시 답변 1
약 94초
도구 사용 경험·실제 발견 중심으로 푸는 결
promptfoo를 졸업 프로젝트에서 `RAG` 파이프라인의 응답 품질을 체계적으로 테스트할 때 처음 써봤습니다. 이전에는 응답을 직접 눈으로 확인하는 방식이었는데, 질문 케이스가 늘어나면서 회귀 테스트가 어렵다는 것을 느꼈습니다. promptfoo로 테스트 케이스 파일을 구성하고, 응답이 특정 키워드를 포함하는지 또는 예상 답변과 유사한지를 자동으로 점수화해서 비교했습니다. 프롬프트를 수정할 때마다 전체 테스트를 돌리면서 이전 버전보다 나빠진 케이스가 없는지를 확인하는 방식으로 썼습니다.
garak은 직접 사용해보지 않았지만, LLM 보안 취약성 탐지에 특화된 도구라고 알고 있습니다. 도구보다 어떤 가설을 테스트할 것인가를 먼저 정의하는 것이 평가 설계에서 더 중요하다고 느꼈습니다.
이 결의 특징
promptfoo, RAG 같은 도구를 활용한 구체적인 접근이 드러남
이 결이 통하는 자리
API/응답 질문에서 구체적인 수치나 도구명을 포함한 이런 패턴이 면접관에게 통함