AI 에이전트 메모리는 출처만으로 믿을 수 없다

AI 에이전트가 기억해 둔 정보나 검색해 온 자료를 믿게 만들려면, 단순히 “출처가 확인됐다”는 표시만으로는 부족하다. 오픈소스 에이전트 메모리 코어에서 값의 중요도를 매기기, 여러 기록으로 확인하기, 더 최신 기록을 우선하기, 성공한 결과에 점수를 주기 같은 네 가지 방어를 시험했지만, 공격자가 방어 방식을 알고 있으면 모두 뚫렸다. 이유는 간단하다.

기록의 가치, 확인 근거, 기록된 시간, 성공 여부 같은 판단 재료를 결국 기록을 쓰는 쪽이 꾸며 넣을 수 있기 때문이다. 출처 정보와 비용은 공격자가 마음대로 만들기 어렵지만, 출처는 “누가 썼는지”만 확인할 뿐 “내용이 사실인지”까지 보장하지 않는다. 실제 계정이나 정상 세션 안에서 거짓 기억을 넣으면 출처 검사는 통과할 수 있다.

비슷한 실험들에서도 RAG가 맞는 문장을 인용하면서도 약 30%는 잘못된 위치를 출처로 붙였고, 출처나 확인 메타데이터도 공격자가 위조할 수 있었다. 또 한 번 저장된 사실이 나중에 틀려져도, 현재 문맥과 모순이 없으면 일반 평가 도구는 오래된 정보 문제를 잡기 어렵다.