운영용 AI 에이전트 평가는 실패 복구까지 봐야 한다
의 평가는 일이 잘 풀렸을 때 목표를 끝냈는지만 보면 부족하다. 실패하거나 일부만 끝난 실행에서는 실패 직전의 , 실제 외부 시스템을 바꾼 , 밖으로 보낸 입력값이나 변경 내용을 확인할 수 있어야 한다.
같은 작업이 중복 처리되지 않도록 돕는 와 외부 시스템의 접수 기록도 남아야 한다. 모델이 어떤 근거를 보고 판단했는지, 다음 운영자가 안전하게 이어서 재시도하거나 되돌리거나 포기할 수 있는지도 평가 대상이 되어야 한다.
이런 정보가 없으면 시연에서는 성공한 에이전트라도 실제 운영 평가에서는 부족하다. 단순한 만 많이 쌓는 것보다, 상태, 결정, 외부 기록, 정책 판단, 담당자를 묶어 복구에 쓸 수 있는 자료로 만드는 것이 중요하다.
핵심 포인트
- 성공한 실행만 보는 평가는 을 충분히 검증하지 못한다.
- 실패 직전의 와 외부 시스템을 바꾼 을 남겨야 한다.
- 와 외부 접수 기록이 있으면 중복 처리 위험을 줄일 수 있다.
- 은 단순 로그가 아니라 복구에 바로 쓰이는 자료가 되어야 한다.
- 다음 운영자가 재시도, , 중단을 안전하게 고를 수 있어야 한다.