AI 에이전트가 틀릴 때 멈추고 되돌리는 설계
가 단순히 초안을 쓰는 수준을 넘어 실제 작업을 처리할 때는 모델 만으로는 부족하다. 더 큰 위험은 에이전트가 틀렸거나 느리거나 필요한 문맥이 부족한 상태에서 다음 단계로 넘어가는 순간이다. 안전한 설계는 먼저 좁고 분명한 업무 하나만 하고, 입력과 출력이 무엇인지 으로 드러내는 방식에서 시작한다.
작업 는 사용자 입력, 모델 출력, , 사람이 고친 내용을 따로 남겨야 나중에 어디서 문제가 났는지 볼 수 있다. 를 멈출 수 있는 이름 있는 검토자가 필요하고, 에이전트 없이도 같은 일을 처리할 수 있는 수동 대체 경로가 있어야 한다. 문제가 생겼을 때는 , 도구, 데이터 출처를 이전 상태로 되돌리는 롤백 점검표도 준비해야 한다.
운영 방식으로는 모든 행동 전 사람 승인, 작업 후 검토, 도구 제한, 즉시 중지 장치 같은 선택지가 비교 대상이 된다.
핵심 포인트
- 가 틀리거나 느리거나 문맥이 부족할 때의 넘겨받기 설계가 중요하다.
- 좁은 업무 하나부터 하고 입력과 출력 기준을 분명히 해야 한다.
- 작업 는 사용자 입력, 모델 출력, , 사람 수정 내용을 나누어 남기는 것이 좋다.
- 를 멈출 수 있는 담당 검토자와 에이전트 없이 실행 가능한 수동 대체 경로가 필요하다.
- , 도구, 데이터 출처를 되돌리는 롤백 점검표를 준비해야 한다.