AI 에이전트가 혼자 해도 되는 일의 경계
를 만들 때는 어떤 일을 사람 확인 없이 맡길지 먼저 정해야 한다. 예로 코드 배포, 고객 환불, 이메일 발송, 데이터 삭제, 운영 같은 행동은 실수했을 때 피해가 클 수 있다. 선택지는 크게 세 가지다.
매번 승인을 받게 하거나, 미리 정한 을 따르게 하거나, 모델 판단을 그대로 믿는 방식이다. 에이전트가 더 많은 일을 할수록 이 는 더 큰 설계 문제가 된다.
핵심 포인트
- 가 혼자 실행할 수 있는 행동 범위를 정해야 한다.
- 코드 배포, 환불, 이메일 발송, 데이터 삭제, 운영은 위험도가 높은 행동이다.
- 사람 승인, 정책 , 모델 신뢰 중 어떤 방식을 쓸지 결정해야 한다.
- 에이전트 능력이 커질수록 설계가 더 중요해진다.