AI 에이전트 메모리 공격을 막는 방법은 나왔지만 라이브러리는 부족

이번 주 공개된 두 연구는 문제를 같은 방식으로 다룬다. 핵심 방법은 다. 민감한 정보나 의심스러운 정보가 어디에서 왔고 어디로 이동할 수 있는지 규칙으로 관리해, 위험한 행동으로 이어지지 않게 막는 방식이다.

은 나쁜 정보가 에이전트의 메모리에 저장된 뒤, 나중에 결제 전송, 설정 변경, 같은 잘못된 행동을 일으키는 문제다. 은 에이전트가 작업을 처리하는 과정에서 민감한 검색, , 메모리 저장 등을 통해 개인 정보가 새어 나가는 문제다. 한 연구는 기계 검증을 거쳤고, 를 적용한 뒤 8개 모델에서 공격 성공률이 0%로 나왔다.

하지만 이 방식을 바로 붙여 쓸 수 있는 오픈소스 는 아직 뚜렷하지 않다.

핵심 포인트

  • 두 연구 모두 을 다룬다.
  • 공통 해법은 로, 정보의 출처와 사용 범위를 제한한다.
  • 연구는 8개 모델에서 공격 성공률 0%를 보고했다.
  • 바로 설치해 쓸 수 있는 오픈소스 는 아직 확인되지 않았다.
  • 에이전트에 메모리와 을 붙일 때 보안 설계를 따로 해야 한다.
원문 보기