에이전트가 작업 범위를 잃지 않게 하는 ‘범위 무결성’ 개념
은 가 처음 허락받은 지시와 제한을 외부 입력 때문에 잃지 않게 지키는 보안 목표다. 여기서 제한은 에이전트가 다음에 어떤 토큰을 고를 가능성을 바꾸는 모든 조건을 뜻한다.
은 믿을 수 없는 내용이 더 높은 지시처럼 행동하려는 한 사례일 뿐이다. 은 악의가 없는 산만한 정보, 지나친 확인 요구, 메타데이터 압박, 상태 위장, 도구 사용 방식의 흔들림, 나중 문맥에 섞여 들어오는 오염까지 포함한다.
비슷한 개념으로 , 접근 범위 관리, 도구 호출 검증, 데이터와 지시 분리, 능력 범위 제한이 있다. 핵심은 에이전트가 외부 입력 때문에 작업의 목적, 필요한 단계, 쓸 수 있는 도구, 성공 기준, 현재 상태, 최종 출력 요구를 다시 정의하지 않게 하는 것이다.
핵심 포인트
- 은 에이전트가 허락된 지시와 제한의 우선순위를 유지하는 문제다.
- 은 이 깨지는 여러 사례 중 하나로 다뤄진다.
- 악의 없는 산만한 정보나 과한 확인 요구도 에이전트의 작업 범위를 흔들 수 있다.
- 외부 입력이 작업 목적, 도구 권한, 성공 기준, 현재 상태를 다시 정의하지 못하게 해야 한다.