AI 에이전트 메모리, 정정한 사실이 나중에 되살아나는 문제 실험
에 쓰이는 메모리(기억 저장) 도구들이 사용자가 정정한 정보를 나중에 다시 예전 값으로 되돌리는 경우가 많다는 실험 결과다. 예를 들어 처음에 '지역은 프랑크푸르트'라고 말했다가 나중에 '아니, 오하이오야'라고 정정하면, 좋은 은 이후 질문에 오하이오라고 답해야 한다. 문제는 그 다음이다. 공격이 아니라 그냥 사용자가 바뀐 걸 잊고 예전 값을 한 번 더 언급하거나, 긴 대화 중 우연히 예전 값이 한 줄 섞여 들어갔을 때, 죽은 값인 프랑크푸르트가 다시 살아나는 경우가 흔하다는 것이다.
원인은 라는 방식이 '모순되는 정정'과 '단순 중복'을 잘 구분하지 못하기 때문이며, 한 논문에서는 이 구분 능력이 AUROC 0.59 수준(거의 동전 던지기 수준)으로 측정됐다고 인용한다. 실제로 정정된 값은 평범한 재진술보다 원래 값과 더 비슷하게 보이는 경우가 많아, 유사도 기반 저장소는 '프랑크푸르트가 다시 나왔다'는 것이 되살아난 죽은 값인지 구분할 신호가 없다. 이는 이론에 그치지 않는다. ( poisoning)은 2026년 실제로 논의되는 보안 이슈이며, OWASP 목록에도 올라 있고 MINJA라는 공격은 에 98.2% 확률로 주입에 성공한다고 보고됐다.
이를 확인하기 위해 정정 후 재진술, 답변 단위 평가, 표본 30개, 로컬 환경으로 작은 벤치마크를 직접 만들었다. '에코 저항력(echo-resistance)'은 정정된 값을 계속 유지하는 정도를 뜻하며 1.0이 좋은 점수다. 저자 본인이 만든 단순 키 기반 저장소는 보호 장치를 끈 상태에서 0.00점, 즉 완전히 실패했다 — 재진술이 가장 최근 쓰기이기 때문에 그게 그대로 이겨버린 것이다.
핵심 포인트
- 프랑크푸르트→오하이오처럼 정정 자체는 대부분 가 잘 처리한다
- 진짜 문제는 정정 후 시간이 지나 예전 값이 다시 언급됐을 때 되살아나는 현상
- 는 정정과 단순 중복을 구분하는 능력이 AUROC 0.59로 거의 무작위 수준
- MINJA 공격은 주입에 98.2% 성공률을 기록
- 저자의 단순 키 기반 메모리 저장소는 보호 장치 없이 에코 저항력 0.00으로 완전 실패