당근 환경에 맞는 AI 모의해킹 진단 기준을 어떻게 정의할 수 있을까요?

AI 진단 기준을 세울 때는 먼저 AI 시스템이 어떤 결정을 내리고 그 결정이 어디에 영향을 주는지부터 정리합니다. 같은 오탐이라도 콘텐츠 필터링 AI에서는 사용자 거래가 막히는 직접적인 피해로 이어지는 반면, 가격 추천에서는 사용자가 무시할 수 있어 영향도가 다릅니다. 보안 수업에서 OWASP Machine Learning Security Top 10을 처음 접했을 때, 공격 유형보다 어떤 단계에서 영향도가 큰지를 먼저 보는 프레임이 실용적이라는 걸 알았습니다. 진단 기준은 이 프레임을 바탕으로 서비스 특성에서 실제로 발생 가능한 시나리오만 추려 적용하는 방식이 현실적입니다.

기준을 전부 적용하려 하면 리소스가 분산되기 때문에, 영향도와 발생 가능성을 축으로 우선순위를 먼저 정하는 것이 저의 접근 방식입니다. 프롬프트 인젝션, 모델 추출, 데이터 중독은 플랫폼 구조에 따라 위험도가 달라지는 항목으로 별도로 다루는 게 좋다고 생각합니다.