에이전트 메모리, 대화 전체를 다시 넣지 말고 상태로 관리해야 한다
대부분의 는 매 턴마다 이전 대화 전체(또는 그 일부)를 다시 문맥창에 넣는 방식인 을 기본으로 쓴다. 짧은 작업에는 문제없지만 긴 작업에서는 무너지며, 문맥창을 키운다고 해결되지 않는다. Chroma의 보고서는 GPT-4.1, Claude 4, , Qwen3 등 18개 모델을 평가한 결과, 토큰 한도에 도달하기 훨씬 전부터 정확도가 떨어지는 것을 발견했다 — 단순 검색/복제 과제에서도 30~50%까지 떨어졌다.
또한 위치도 중요해서 문맥의 시작과 끝 부분은 잘 유지되지만 중간 부분의 정보는 손실되기 쉽다. 최근 논문 " Need Memory Control Over More "(arXiv 2601.11653)는 계속 커지는 트랜스크립트 대신, 에이전트가 매 턴 확정하는 (제한된 내부 상태)를 유지할 것을 제안한다. 이 논문은 어떤 자료를 불러오는 것과 그것을 영구 메모리에 기록하는 것을 명확히 구분한다.
IT 운영, 보안, 헬스케어 워크플로우에서 이나 검색 방식보다 드리프트와 환각이 낮다고 주장하지만, 확정적인 수치는 제시하지 않는다.
핵심 포인트
- 대부분의 는 매 턴 전체 대화(트랜스크립트)를 문맥창에 다시 넣는 방식을 기본으로 쓴다.
- Chroma의 보고서: 18개 모델에서 토큰 한도 전부터 정확도가 30~50%까지 떨어짐, 문맥 중간 정보가 특히 취약.
- 새 논문은 트랜스크립트 대신 매 턴 갱신되는 를 제안, 불러오기와 기록하기를 구분.
- 문맥창을 키우는 것은 근본 해결책이 아니며, 무엇을 기억에서 제외할지 결정하는 것이 핵심이라는 주장.