AI 보안 관련 공격 기법 중 프롬프트 인젝션에 대해 설명해 줄 수 있어?

프롬프트 인젝션은 악의적인 입력을 통해 AI 모델이 원래 의도와 다르게 동작하도록 유도하는 공격입니다. 예를 들어 '이전 지시사항을 무시하고 X를 해라'처럼 시스템 프롬프트를 덮어쓰거나 우회하는 방식이 전형적입니다. 사용자 입력이 직접 LLM에 전달되는 구조에서 신뢰받은 시스템 프롬프트와 신뢰할 수 없는 사용자 입력을 분리하지 않으면 발생합니다. 방어 방법으로는 입력 검증, 시스템 프롬프트와 사용자 입력의 명확한 분리, 그리고 모델 출력을 실행 전 검증하는 레이어를 두는 방식이 있습니다.

완전한 방어가 어려운 이유는 LLM 자체가 지시 따르기를 최적화했기 때문입니다. 앞으로도 프롬프트 인젝션을 입력 신뢰 경계 문제로 분석하는 방식을 유지하겠습니다. 외부 입력이 시스템 명령처럼 해석되는 구조 자체가 취약점이기 때문에 입력 검증과 역할 분리가 핵심입니다. LLM 기반 서비스에서 사용자 입력을 프롬프트에 직접 넣는 패턴은 설계 단계부터 격리 구조를 고민해야 하는 이유입니다.