AI 에이전트 컨텍스트 안전성을 재는 KyroBench 공개
KyroBench는 가 답하거나 행동하기 전에 받는 컨텍스트가 지금 써도 안전한지 검사하는 벤치마크다. 단순히 비슷한 문서를 잘 찾는지보다, 오래된 정보가 새 정보를 이기지 않는지, 삭제된 메모리가 다시 나오지 않는지, 다른 고객이나 계정의 정보가 섞이지 않는지, 이나 가짜로 비슷한 문서가 걸러지는지를 본다. 평가 대상은 지원 티켓, 청구 예외, 법률 계약, 운영 장애 대응, 고객 관리 메모리, 합성 의료 기록, 기록처럼 실제 업무형 에이전트에서 자주 생기는 상황이다.
현재 공식 평가는 6개 트랙, 36,864개 채점 항목, 실행당 12,288개 검색, 1,200 토큰 으로 진행됐다. 공식 점수는 인증 통과 여부이고, 검색 신호와 지연 시간은 참고 지표로 따로 보여준다. KyroDB, /Zep, , Mem0 네 시스템 모두 공식 인증 점수는 0점이었다.
KyroDB는 검색 신호 79.1점과 증거 메타데이터 100점을 보였지만 의미 판단과 최신성 문턱을 넘지 못했고, /Zep는 검색 신호 71.6점과 가장 빠른 168밀리초를 보였지만 검증용 증거가 부족했다. 는 기본 벡터 저장소 비교군으로 53.3점의 검색 신호를 보였고, Mem0는 엄격한 요청을 오래된 정보로 막는 경우가 많아 완료된 검색 신호가 거의 없었다.
핵심 포인트
- KyroBench는 에이전트가 쓰는 컨텍스트의 최신성, 범위, 오염, 증거, 토큰 예산 적합성을 함께 본다.
- 현재 공식 평가에서 KyroDB, /Zep, , Mem0 모두 인증 점수 0점을 받았다.
- 비슷한 문서를 잘 찾는 검색 신호가 높아도, 오래됐거나 검증 불가능하면 통과하지 못한다.
- 평가는 1,200 토큰 안에서 필요한 증거를 유지하는지도 확인한다.
- 실무 에이전트에서는 삭제된 메모리, 다른 테넌트 정보, 낮은 권한의 문서가 섞이는 문제가 큰 위험이다.