AI/LLM 기반 서비스의 보안성을 검토할 때 어떤 요소를 중점적으로 살펴보아야 할까요?

생성형 AI 기능을 서비스에 처음 붙이던 시기, 프롬프트 인젝션 리스크를 별도 항목으로 검토하지 않았다가 QA 단계에서 문제가 발견된 경험이 있습니다. 기존 웹 서비스 보안 체크리스트를 그대로 적용했는데, AI 특화 공격 벡터는 체크리스트에 없었고 기존 항목으로는 커버되지 않았습니다. 이 경험에서 가장 인상 깊었던 것은 새로운 기술이 들어올 때 기존 프레임워크가 자동으로 확장되지 않는다는 단순한 사실이었습니다. 이후 생성형 AI 관련 검토를 할 때 모델 입력 경로, 출력 필터링, 프롬프트 조작 가능 지점을 별도 섹션으로 분리해 점검하는 방식을 팀 체크리스트에 추가했습니다. 완전히 새로운 기술이 들어올 때는 기존 체크리스트를 그대로 쓰는 것이 오히려 위험할 수 있다는 기준을 갖게 됐습니다.

이 경험이 이후 신기술 도입 시 기존 체크리스트 외 별도 리스크 항목을 추가로 식별하는 기준이 됩니다. 새로운 기술에는 새로운 리스크 카테고리가 따라오고, 기존 프레임워크는 출발점이지 완성이 아니라는 원칙을 지킵니다.