AI 에이전트의 ‘확인’ 단계가 시간이 지나며 무너지는 문제
소규모 사업 업무에 를 붙일 때 큰 위험은 에이전트가 갑자기 엉뚱한 행동을 하는 것만이 아니다. 그런 실패는 눈에 잘 띄어서 비교적 빨리 잡힐 수 있다. 더 조용한 위험은 사람이 승인하는 단계가 시간이 지나며 형식만 남는 것이다.
실제 는 보통 낮은 위험의 되돌릴 수 있는 일은 자동 처리, 중요한 일은 사람 확인, 절대 맡기면 안 되는 일은 금지로 나뉜다. 이 중 사람 확인 단계가 가장 많은 를 만든다. 가 느리고 반복적인 준비 작업을 끝내고, 사람은 최종 결정을 맡기 때문이다.
하지만 확인 목록이 쌓이고 에이전트가 대체로 맞게 처리하면, 사람은 내용을 꼼꼼히 읽지 않고 빠르게 승인하기 시작한다. 에는 계속 ‘사람이 승인함’으로 기록되지만, 실제로는 더 이상 제대로 검토하지 않는 가 될 수 있다.
핵심 포인트
- 의 위험은 눈에 띄는 큰 실수보다 조용히 가 약해지는 데서 생길 수 있다.
- 는 자동 처리, 사람 확인, 금지로 나누어 설계할 수 있다.
- 사람 확인 단계는 가 준비하고 사람이 결정하는 구조라 가 크다.
- 확인 요청이 많아지면 사람은 내용을 읽지 않고 승인만 반복할 수 있다.
- ‘사람이 승인함’이라는 기록이 실제 검토를 보장하지는 않는다.