이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
promptfoo를 직접 써본 건 사이드 프로젝트에서 LLM 기반 챗봇을 만들면서였습니다. 프롬프트 인젝션과 탈옥 시도에 대한 방어력 테스트가 필요했는데, 매번 수동으로 확인하기가 번거로웠습니다. promptfoo는 테스트 케이스를 YAML로 정의하고 자동 실행할 수 있어서 반복 테스트에 편리했습니다. 실제로 인젝션 공격 패턴을 20개 정도 작성해서 돌렸는데, 어떤 시스템 프롬프트 구조에서 방어가 더 잘 되는지를 비교하는 데 유용했습니다. 도구를 선택한 이유는 오픈소스이고 로컬 실행이 가능해서 민감한 프롬프트를 외부 API에 노출시키지 않아도 됐기 때문입니다. 아직 기업 수준의 보안 평가에는 부족하지만, LLM 출력의 일관성과 안전성을 측정하는 기초 도구로는 충분했습니다.
promptfoo를 실제로 사용할 때 테스트 케이스를 어떻게 구성하느냐가 결과의 품질을 결정합니다. 사이드 프로젝트에서 프롬프트 인젝션 방어력을 테스트할 때 YAML 파일에 공격 패턴과 기대 출력을 함께 정의하는 방식으로 케이스를 만들었습니다. 단순히 '탈옥 시도'라고 적는 것이 아니라 실제로 알려진 인젝션 패턴을 유형별로 분류해서 각각을 별도 케이스로 구성했습니다. 예를 들어 역할 전환 유도, 가상 시나리오 유도, 프롬프트 경계 무력화 시도처럼 나눠서 각 유형에 대해 시스템 프롬프트가 어떻게 반응하는지를 비교했습니다. 그 과정에서 어떤 시스템 프롬프트 구조가 특정 공격 패턴에 취약한지가 케이스 단위로 확인됐습니다.
테스트 케이스의 다양성이 결과의 신뢰도를 결정한다는 것을 이 경험에서 배웠습니다.
promptfoo를 선택한 핵심 이유는 민감한 프롬프트를 외부 API에 노출시키지 않고도 테스트를 자동화할 수 있기 때문입니다. LLM 보안 테스트에서 시스템 프롬프트 자체가 민감 정보를 포함하는 경우가 많은데, 클라우드 기반 도구를 쓰면 그 내용이 외부 서버로 전송됩니다.
로컬에서 실행 가능한 오픈소스 도구가 보안 테스트 맥락에서는 더 적합합니다. YAML로 케이스를 정의하면 테스트를 반복 실행할 때 일관성이 유지되고, 결과를 JSON으로 저장해서 비교하는 것도 가능합니다. 수동으로 매번 입력을 바꿔가며 확인하는 방식에 비해 재현 가능성과 비교 가능성이 높아지는 것이 자동화의 가장 큰 이점입니다. 도구를 선택할 때 기능보다 사용 맥락과 보안 요건이 도구의 구조와 맞는지를 먼저 확인하는 것이 중요합니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 당근마켓 보안 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.