에이전트 메모리에 거짓 정보를 저장하지 않는 간단한 검증법
가 오래 보관하는 메모리에 잘못 만든 사실이 들어가면, 그 정보가 나중에 다시 꺼내지고 몇 주 동안 반복될 수 있다. 모델이 스스로 높은 를 붙여도 안전하지 않다. 확신이 높아도 원문에 없는 내용을 사실처럼 만들 수 있기 때문이다.
해결 방식은 어떤 주장도 만으로 에 넣지 않는 것이다. 먼저 그 주장이 근거로 든 문장이 실제 원문 안에 있는지 를 한다. 문장 부호나 형식이 조금 달라도 찾을 수 있도록 문자열 비교와 토큰 겹침 확인을 함께 쓴다.
근거가 원문에서 확인되지 않으면 그 주장은 자동 저장하지 않고 사람이 볼 수 있는 후보 신호로만 남긴다. 예측, 약속, 거래 위험처럼 영향이 큰 주장은 원문 근거가 있어도 별도 확인이나 사람 검토가 필요하다. 다만 원문에 같은 문장이 있다는 것은 인용이 존재한다는 뜻일 뿐, 그 해석이나 추론까지 맞다는 뜻은 아니다.
핵심 포인트
- 만 보고 에 사실을 저장하면 잘못된 정보가 오래 반복될 수 있다.
- 주장이 근거로 든 내용이 실제 원문에 있는지 확인한 뒤에만 로 승격한다.
- 근거가 확인되지 않은 주장은 자동 저장하지 않고 검토 대상 신호로 남긴다.
- 예측, 약속, 거래 위험 같은 중요한 주장은 원문 근거가 있어도 추가 확인이 필요하다.
- 는 인용의 존재를 확인하지만, 해석이 맞는지까지 증명하지는 않는다.