RAG 앱에서 먼저 점검할 6가지 보안 위험
을 시험할 때는 다른 사용자의 자료가 섞여 나오는지부터 확인해야 한다. 고객이나 조직별 자료가 서로 완전히 분리되는지도 점검해야 한다.
공격자가 조작한 문서를 넣었을 때 잘못된 답변이나 행동을 유도할 수 있는지, 검색된 문서 속 이 모델의 지시를 바꾸는지도 시험해야 한다. 또한 모델이 연결된 도구를 위험하게 실행하지 않는지 확인해야 한다.
사용자나 문서에 필요 이상의 이 주어졌는지도 검사 대상이다. Redfox는 RAG 자료 유출과 의 전반적인 공격 경로를 시험하는 실무 자료를 제공한다.
핵심 포인트
- 다른 사용자의 자료가 답변에 섞이는지 시험한다.
- 고객이나 조직별 자료가 서로 분리되는지 확인한다.
- 조작된 문서와 이 모델의 행동을 바꾸는지 검사한다.
- 연결된 도구가 위험한 작업을 실행하지 못하게 막는다.
- 문서와 사용자에게 필요 이상의 이 없는지 확인한다.