운영용 AI 에이전트 권한은 ‘단계별’로 좁혀야 한다
의 는 에이전트 전체에 넓은 권한을 주는 방식으로 설계하면 위험해진다. 예를 들어 어떤 에이전트가 고객관리 시스템을 수정하거나, 이메일을 보내거나, 카드 결제를 실행할 수 있다고 한 번에 허용하면 실제 업무에서는 통제가 어려워진다. 더 안전한 기준은 에이전트가 아니라 각 실행 단계다.
시스템은 “이 에이전트가 고객관리 시스템을 수정할 수 있나”가 아니라 “현재 원본 상태, 대상 객체, , 승인 규칙, 재시도 규칙, 영수증 조건을 볼 때 이 특정 수정이 허용되는가”를 확인해야 한다. LLM은 행동을 제안할 수 있지만, 실제 실행 여부는 런타임이 판단해야 한다. 그렇지 않으면 너무 넓은 권한, 오래된 승인, 위험한 재시도, 실제 실행 내용이 아니라 모델이 했다고 말한 내용만 남는 가 생길 수 있다.
인프라는 ‘도구를 가진 똑똑한 에이전트’보다, 모든 외부 변경을 감싸는 쪽으로 가야 한다는 관점이다.
핵심 포인트
- 에이전트 전체에 넓은 권한을 주면 에서 통제가 어려워진다.
- 권한 확인의 기준은 에이전트나 도구가 아니라 실제 실행되는 각 단계여야 한다.
- LLM은 행동을 제안하고, 런타임이 실행 가능 여부를 결정하는 구조가 더 안전하다.
- 와 재시도 규칙을 함께 확인해야 중복 실행과 위험한 반복을 줄일 수 있다.
- 는 모델의 설명이 아니라 실제 실행 결과를 남겨야 한다.