행동하는 AI 에이전트는 답변보다 ‘잘못된 실행’을 시험해야 한다
가 단순히 질문에 답하는 수준을 넘어서 이메일을 보내고, 기록을 바꾸고, 환불을 처리하고, 회의를 잡고, 설정까지 수정하면 시험 방식도 달라져야 한다. 답변형 챗봇에서는 틀린 답이나 지어낸 말이 핵심 위험이다. 하지만 행동형 에이전트에서는 잘못된 고객에게 이메일을 보내거나, 엉뚱한 기록을 지우거나, 어려운 조치를 실행하는 것이 더 큰 문제다.
그래서 답변의 품질만 보는 평가는 충분하지 않다. 실제 결과가 생기는 행동을 에이전트가 안전하게 고르는지, 실행 전에 멈춰야 할 상황을 아는지, 실수했을 때 피해를 줄일 장치가 있는지를 따로 검증해야 한다.
핵심 포인트
- 에이전트는 이메일 발송, 기록 수정, 환불, 회의 예약 같은 실제 업무를 수행할 수 있다.
- 답변형 챗봇의 주요 위험은 틀린 답이지만, 행동형 에이전트의 주요 위험은 잘못된 실행이다.
- 잘못된 실행은 고객에게 잘못된 연락을 보내거나 중요한 기록을 삭제하는 식으로 어려울 수 있다.
- 에이전트 평가는 답변 품질뿐 아니라 , 실행 판단, 피해 방지 장치를 포함해야 한다.
- 자동화로 비용을 줄이려면 실행 권한과 를 함께 설계해야 한다.