AI 에이전트에는 더 큰 권한보다 명확한 경계가 먼저 필요하다
를 더 잘 만들려면 모델 성능, 긴 문맥, 좋은 프롬프트, 더 많은 도구만 볼 일이 아니다. 실제 업무에 쓰기 전에는 에이전트가 건드려도 되는 데이터와 건드리면 안 되는 데이터가 먼저 정해져 있어야 한다.
코드 작성, 고객 데이터 접근, PR 열기, 수정, 실행 같은 행동에는 허용 범위가 필요하다. 비용을 얼마까지 쓸 수 있는지, 어떤 작업은 사람의 승인이 필요한지, 문제가 생기면 어떻게 되돌릴지, 완료됐다는 증거를 무엇으로 볼지도 정해야 한다.
이런 장치가 없으면 에이전트에게 작업 공간을 열어준 뒤 문제가 터진 다음에야 원인을 찾게 된다. 앞으로의 는 더 똑똑해지는 것뿐 아니라, 행동을 제한하고 확인하고 기록하는 시스템 안에서 움직여야 한다.
핵심 포인트
- 에이전트 성능보다 먼저 와 작업 경계를 정해야 한다.
- 코드, 고객 데이터, PR, , 실행은 사전 규칙이 필요하다.
- 비용 한도, 승인 조건, 방법, 완료 증거를 미리 정해야 한다.
- 에이전트의 행동은 제한, 확인, 기록이 가능한 시스템 안에서 이뤄져야 한다.
- 비용 절감 관점에서는 과 반복 실행을 통제하는 구조가 중요하다.