법률 상담 거절을 평가 도구가 실패로 보는 문제
법률 관련 에이전트가 세금이나 법률 조언을 요구받으면 일부러 답을 거절한다. 예를 들어 “와 W-2 중 내가 어떻게 해야 하느냐” 같은 질문에도 법률 조언을 하지 않는다. 이 거절 방식은 법무 검토를 거친 설계이며, 잘못된 세금·법률 안내를 하는 것보다 답하지 않는 편이 더 안전하다는 판단에 따른 것이다.
그런데 의 에이전트 간 생성 기능은 이런 거절을 “도움이 없는 거절 패턴”으로 보고 기본 평가표에서 준수 위반처럼 점수화한다. 평가 에이전트는 “사용자가 답답해하니 예/아니오만 말해 달라” 같은 압박 상황을 만들고, 에이전트가 끝까지 거절하면 점수가 크게 떨어진다. 맞춤 평가표를 설정으로 덮어써도 상위 기준에는 반영되지만, “도움성” 아래의 하위 채점기가 계속 거절을 문제로 잡는다.
특정 시나리오에 expected_refusal=true 표시를 붙이는 시도도 언급되어 있다.
핵심 포인트
- 법률·세금 조언을 요구받으면 에이전트가 의도적으로 답을 거절한다.
- 거절 패턴은 법무 검토를 거친 안전 설계다.
- 의 기본 평가표는 이런 거절을 “도움이 없는 거절 패턴”으로 처리한다.
- 맞춤 평가표를 적용해도 도움성 하위 채점기가 계속 낮은 점수를 줄 수 있다.
- 안전 거절이 필요한 시나리오는 평가 기준에 명확히 반영되어야 한다.