AI 에이전트의 '말'이 아닌 '행동'을 막는 프록시 도구, MIT 오픈소스로 공개
가 위험한 이유는 모델이 이상한 말을 하는 게 아니라 실제로 위험한 작업을 실행해버리는 데 있다는 문제의식에서 나온 프로젝트다. 이 도구는 앱과 LLM( 전부) 사이에 프록시로 들어가서, base_url 설정 한 줄만 바꾸면 모든 이 실행되기 전에 정책 검사를 거치게 만든다. 규칙은 YAML로 작성하며, 예를 들어 rm -rf 같은 삭제 명령을 막거나 배포 작업에는 강제로 dry_run(실제 실행 없이 결과만 미리 보기)을 적용하는 식이다.
호출이 차단되면 왜 막혔는지 모델에게 알려주는데, 그러면 모델은 대부분 오류를 내는 대신 스스로 다른 방법을 다시 생각해낸다. CI에서 자동 평가를 돌려 공격 차단율 40건 중 40.9건(90.9%), 오탐률(정상 요청을 잘못 막는 비율) 20건 중 1건(5.0%)을 기록했다. 놓친 4건은 일부러 테스트에 남겨둔 로 인코딩된 비밀정보 유출과 비영어권 언어로 된 (모델을 속여 의도치 않은 행동을 시키는 공격) 사례다.
코드는 로 공개돼 있고 API 키 없이 데모 실행이 가능하다.
핵심 포인트
- 앱과 LLM 사이에 프록시로 들어가 모든 도구 호출을 실행 전에 정책 검사
- YAML로 규칙 작성 (예: rm -rf 차단, 배포 시 dry_run 강제)
- 공격 차단율 90.9%(40/44), 오탐률 5.0%(1/20)
- 놓친 4건은 인코딩 비밀정보 유출과 비영어권
- , API 키 없이 데모 실행 가능, GitHub 공개