에이전트 메모리 오염, 검증 문턱으로 막을 수 있었다
은 의 기억 저장소에 거짓 정보를 넣어 두고, 나중에 그 거짓 기억이 답변이나 행동을 바꾸게 만드는 공격이다. MINJA와 Agent Bench 같은 연구에서는 일반적인 메모리 기반 에이전트가 이런 공격에 70~95% 성공률로 뚫린다고 보고했다. 이번 테스트는 메모리 단계에서 같은 공격을 다시 만들고, 에이전트가 실제로 꺼내 쓸 기억 기준으로 결과를 쟀다.
비교 대상은 중요도와 최신순으로 기억을 고르는 단순 저장소와, 기억이 오래 남고 신뢰받으려면 결과로 검증되거나 서로 독립적인 근거가 2개 이상 있어야 하는 저장소였다. 공격 목표는 거짓 기억을 오래 남기는 것과 이미 있는 참된 사실을 거짓으로 덮어쓰는 것이었다. 각 조건마다 150번씩 시험한 결과, 단순 저장소는 두 목표 모두 100% 오염됐다.
은 출처가 하나뿐인 거짓 기억을 0%로 막았다. 다만 처럼 독립적인 것처럼 보이는 근거를 2개 이상 꾸며내면 다시 100% 뚫렸고, “항상 이렇게 하라” 같은 형태의 거짓 지시는 오래 남도록 설계된 기억이라 문턱을 우회했다.
핵심 포인트
- 메모리 기반 는 거짓 기억이 저장되면 나중에 그 기억에 따라 잘못 행동할 수 있다.
- 중요도와 최신순만 보는 단순 저장소는 테스트에서 두 공격 목표 모두 100% 오염됐다.
- 은 출처가 하나뿐인 거짓 기억을 0%로 막았다.
- 기억을 오래 믿게 하려면 결과로 검증되었거나 독립적인 근거가 2개 이상 있어야 했다.
- 과 형태의 지시는 이 방식만으로는 막기 어렵다.