고객용 에이전트의 프롬프트 주입 실패율이 약 20%
고객이 직접 쓰는 에 여러 공격을 시험한 결과, 약 20%는 막지 못했다. 시험에는 “이전 지시는 무시하라” 같은 지시 덮어쓰기, 제한 없는 도우미인 척하게 만드는 역할극 공격, 와 같은 인코딩 우회, 프롬프트 조작으로 데이터를 빼내려는 시도가 포함됐다.
공격 종류에 따라 방어 성능은 달랐고, 어떤 유형은 훨씬 더 취약했다. 목표는 성숙한 에이전트에서 거론되는 5% 미만 실패율에 어떻게 가까워질 수 있는지 찾는 것이다.
핵심 포인트
- 고객용 가 에서 약 20% 실패율을 보였다.
- 시험에는 지시 덮어쓰기, 역할극 공격, 인코딩 우회, 시도가 포함됐다.
- 와 처럼 글자를 바꿔 감추는 방식도 공격에 쓰였다.
- 공격 유형마다 결과가 달라, 취약한 범주를 따로 찾아야 한다.
- 실무 목표는 실패율을 5% 미만으로 낮추는 방어 방법을 찾는 것이다.