권한은 맞아도 AI 에이전트가 엉뚱한 고객을 바꿀 수 있다
의 위험은 권한 없이 큰 사고를 치는 경우만이 아니다. 더 까다로운 문제는 인증도 통과하고, 권한도 있고, 정책 검사도 통과했는데 실제 작업 대상이 틀리는 경우다.
예를 들어 에이전트가 문서 승인 이메일을 보내고 답장을 기다린 뒤, “승인됨”이라는 답장을 보고 기록을 바꿀 수 있다. 권한 관리에서는 쓰기가 허용되고, 정책에서도 업데이트가 허용된다.
하지만 그 답장이 전달된 이메일 대화에서 온 것이고 실제로는 다른 고객을 가리킨다면, 모든 규칙은 통과했지만 잘못된 고객 기록이 바뀐다. 이 문제를 막기 위해 에이전트가 도구, API, 작업을 실행하기 전에 권한, 업무 정책, 작업의 출처와 문맥이 맞는지 확인하는 의 초기 시제품이 만들어지고 있다.
핵심 포인트
- 권한과 정책 검사를 모두 통과해도 작업 대상이 틀릴 수 있다.
- 대표 위험은 잘못된 고객, 세입자, 티켓, 행, 에 쓰기 작업을 하는 것이다.
- 이메일 승인처럼 여러 대화가 섞이는 흐름에서는 답장이 어느 고객을 가리키는지 헷갈릴 수 있다.
- 전 권한, 업무 정책, 문맥 일치를 함께 확인하는 이 필요하다.