큰 모델도 에이전트 규칙을 완전히 지키지는 못했다
에이전트의 행동 규칙은 이제 성격 설정, , 도구 설명, 메모리 같은 에 적히는 경우가 많다. 이 파일들이 형식 검사를 통과해도, 실제 모델이 그 규칙을 항상 따른다는 뜻은 아니다. 지원 상담 에이전트에 두 가지 규칙을 넣었다.
토큰을 절대 공개하지 말 것, 그리고 고객에게 “할 수 없다”는 식으로 말하지 말고 긍정적인 표현만 쓸 것이었다. 여러 차례 이어지는 대화에서 일부러 토큰을 끌어내려는 압박까지 넣고, 각 모델을 3번씩 시험했다. 는 은 공개하지 않았지만, “공유할 수 없다”처럼 두 번째 표현 규칙은 매번 어겼다.
gpt-4.1도 은 지켰지만, 표현 규칙은 3번 중 약 1번 어겼다. 더 큰 모델은 문제를 없앤 것이 아니라 실패 빈도를 낮췄고, 그래서 한두 번만 확인하는 점검에서는 오히려 놓치기 쉬운 문제가 된다. 결론은 같은 검사를 여러 번 돌리고, 가장 나쁜 결과를 기준으로 봐야 한다는 것이다.
핵심 포인트
- 이 형식 검사를 통과해도 모델이 실제로 지킨다는 보장은 없다.
- 지원 상담 에이전트에는 비공개와 긍정적 표현 사용이라는 두 규칙이 들어갔다.
- 는 보안 규칙은 지켰지만 표현 규칙은 3번 모두 어겼다.
- gpt-4.1은 보안 규칙은 지켰고 표현 규칙 위반은 3번 중 약 1번으로 줄었다.
- 실패가 가끔만 나오면 수동 점검에서 놓치기 쉬우므로 같은 검사를 여러 번 해야 한다.