AI 기반 서비스의 보안성 검토 시 어떤 요소를 중점적으로 확인해야 할까요?

졸업 프로젝트에서 `RAG` 기반 문서 검색 기능을 개발했을 때, 보안 관점을 뒤늦게 고려해서 설계를 다시 수정한 경험이 있습니다. 기능을 먼저 만들고 나서 팀원이 사용자 입력이 그대로 검색 쿼리에 들어간다는 점을 지적했고, 프롬프트 인젝션 공격을 통해 엉뚱한 문서를 반환하게 만들 수 있다는 문제를 뒤늦게 파악했습니다. 이후 입력 정제 레이어를 추가하고, 사용자 쿼리와 시스템 프롬프트를 분리하는 구조로 수정했습니다. 그 경험을 통해 AI 기능은 입력 신뢰 범위를 설계 초기부터 명확히 잡아야 한다는 것을 배웠습니다. 모델 응답에 대해서도 민감 정보가 포함될 수 있는 경우 출력 필터링을 검토하고, 학습 데이터 접근 범위와 사용자 권한을 연결하는 설계가 필요하다고 생각합니다. 기능이 동작하는 것과 안전하게 동작하는 것은 다른 문제라는 걸 직접 겪고 나서야 제대로 인식했습니다.