AI 에이전트 배포 전 점검해야 할 4가지 평가 층

AI 에이전트를 배포하기 전에는 문제가 어디서 생기는지 먼저 나눠 보는 방식이 유용하다. 도구를 잘못 고르거나 입력값 형식이 틀리면 구성요소 평가를 봐야 한다. 답은 맞지만 단계가 너무 많거나 비용이 많이 들면 경로 평가가 필요하다.

최종 답변이 나쁘거나 쓸 수 없으면 결과 평가를 봐야 한다. 위험한 행동이나 프롬프트 주입에 흔들리면 공격 평가로 확인해야 한다. 구성요소 평가는 사용자 질문, 기대한 도구, 기대한 입력값, 정답으로 보는 이유를 예시마다 함께 둔다.

도구 선택 정확도는 전체 도구 목록을 기준으로 재고, 입력값 품질은 필수 항목, 허용되는 값, 의미가 맞는지를 확인한다. 계획 점검은 빠진 단계가 없는지, 불필요하게 길지 않은지, 순서가 맞는지를 보고, 실패 유형은 잘못된 도구 선택, 틀린 입력값, 반복 호출, 너무 이른 중단으로 나눈다. 경로 평가는 실행 순서대로 추론 단계, 도구 호출, 관찰 결과, 재시도, 토큰 사용량을 기록하고, 단계 과다, 중복 호출, 반복 루프 같은 행동을 잡아낸다.