에이전트 평가는 답변보다 행동까지 봐야 한다
고객 지원 에이전트의 를 말투 중심으로 조금 바꾼 뒤, 기존 평가는 모두 통과했다. 하지만 실제로는 주문 상태를 확인할 때 써야 하는 `lookup_order` 도구를 더 이상 호출하지 않았다.
에이전트는 실제 주문 데이터를 확인하지 않고 메모리에서 답을 만든 것처럼 배송 상태를 말했고, 그 답은 유창하고 친절해 보여 평가를 통과했다. 문제는 최종 답변의 문장만 검사했기 때문에 생겼다.
정확히 맞는지, 뜻이 비슷한지, 도움이 되는지 보는 평가는 모두 답변 텍스트만 봤다. 에이전트에서 실제로 위험한 고장은 누락, 잘못된 , 허가가 필요한 위험한 , 불필요한 반복, 모델 교체 뒤 과 비용 증가처럼 행동 쪽에서 생길 수 있다.
핵심 포인트
- 를 조금 바꿨을 뿐인데 에이전트가 주문 조회 도구를 호출하지 않게 됐다.
- 최종 답변만 보는 평가는 거짓 답변도 유창하면 통과시킬 수 있다.
- 에이전트 평가는 여부, 호출한 도구의 종류, 실행 단계 수까지 확인해야 한다.
- 잘못된 이나 과도한 반복은 품질 문제이면서 과 비용 문제로 이어진다.