AI 에이전트 보안은 문장 검사만으로 부족하다
가 파일 같은 실제 도구를 쓸 수 있으면, 위험한 요청을 문장만 보고 막는 방식은 쉽게 뚫릴 수 있다. 공개된 을 실제로 악용하는 순서를 만든 뒤, 그 일을 평범한 요청처럼 보이게 다시 쓰면 겉보기 문장에는 공격 신호가 거의 남지 않는다. 위험은 문장 자체보다 에이전트가 이어서 실행할 흐름에서 생긴다.
MCP로 파일 입출력 도구를 쓰는 에이전트를 시험했을 때, 10억~140억 규모의 은 이런 공격을 35% 넘게 거부하지 못했다. DPO와 SafeDPO 같은 안전 학습을 적용해도 거부율은 48%까지 올라가는 데 그쳤다. 반면 추가 학습 없이 쓰는 일부 방법은 기준선보다 약 3배 높은 거부율을 냈다.
방법론, 학습·평가 코드, , 논문이 함께 공개됐다.
핵심 포인트
- 문장만 검사하는 는 도구를 쓰는 에서 부족할 수 있다.
- 공격 요청은 평범한 말처럼 보이지만, 실제 위험은 뒤따르는 순서에서 생긴다.
- MCP 파일 입출력 도구를 쓰는 에이전트 실험에서 의 거부율은 35%를 넘지 못했다.
- DPO와 SafeDPO를 써도 거부율은 48% 수준에 머물렀다.
- 추가 학습 없는 일부 방법은 기준선보다 약 3배 높은 거부율을 보였다.