AI 에이전트 권한은 프롬프트만으로 통제하기 어렵다
회사 업무에 쓰이는 가 이메일을 보내거나, 파일을 지우거나, 를 바꾸거나, 운영 중인 시스템을 건드릴 수 있으면 큰 위험이 생긴다. 데모에서는 중요한 순간마다 에이전트가 사람에게 허락을 구할 것이라고 가정하기 쉽다. 하지만 실제 회사 환경에서는 프롬프트만 보안 경계로 삼는 방식이 CISO 검토를 통과하기 어렵다.
실수로 중요한 작업을 망치거나, 민감한 정보가 새거나, 도구가 잘못 쓰일 수 있기 때문이다. 와 같은 에이전트 도구가 회사 안에서 실제 일을 처리하기 시작하면 이 문제가 더 커진다. 더 나은 프롬프트보다, 매 단계마다 에이전트가 어떤 권한을 가질지 정하는 런타임이나 제어 평면이 필요하다는 접근이 제시된다.
Tandem 데모에서는 에이전트가 이메일 초안을 만들지만, 보내기 직전에 런타임이 멈추고 사람의 승인을 기다린 뒤, 을 남기고 작업을 이어간다.
핵심 포인트
- 가 이메일 발송, 파일 삭제, 코드 수정, 접근을 할 수 있으면 별도 통제가 필요하다.
- 프롬프트만으로 위험한 행동을 막는 방식은 실제 회사 에서 약할 수 있다.
- 파괴적 작업, 정보 유출, 도구 오용이 주요 위험으로 제시된다.
- 런타임이나 제어 평면이 매 단계의 권한을 정하는 방식이 대안으로 제시된다.
- Tandem 데모는 이메일 발송 전 사람 승인과 을 넣는 흐름을 보여준다.