에이전트 시스템의 '사람 승인' 단계, 사실은 가짜 안전장치일 수 있다
이메일 발송이나 송금, CRM 기록처럼 민감한 작업 앞에 사람이 승인 버튼을 누르는 단계를 넣으면 시스템이 안전하다고 여기는 경우가 많지만, 실제로는 진짜 통제 장치가 아닌 경우가 흔하다. 첫 번째 문제는 승인 단계가 엉뚱한 경로를 지키고 있다는 점이다.
예전의 고정된 에서는 민감한 작업 바로 앞에 승인 노드를 두면 실제로 그 작업을 막을 수 있었지만, 이 구조를 그대로 에 옮기면 에이전트의 은 그 승인 노드와 무관하게 자기 실행 흐름 안에서 바로 일어난다. 즉 승인 노드는 텅 빈 통로를 지키고 있을 뿐이고, 오류도 나지 않아서 겉보기엔 문제없어 보인다.
두 번째 문제는 승인이 실제 호출이 아니라 '설명'만을 확인한다는 점이다. 도구에 전달되는 인자(argument)는 이 생성한 것인데, 사람이 "Acme사에 1,200달러 청구서 발송" 같은 문구에 승인 버튼을 누르는 것은 모델이 자기 의도를 서술한 문장에 동의하는 것일 뿐, 실제로 실행될 값 자체를 확인하는 것이 아니다.