AI 에이전트 규칙은 프롬프트 밖에서 강제해야 한다
에게 지켜야 할 규칙을 에 적어 두는 것만으로는 충분하지 않다. 안의 지시는 모델이 무시할 수 있고, 대화가 길어지면 앞부분의 문맥이 약해지며, 잘못된 판단으로 사라진 것처럼 행동할 수도 있다. 실제 규칙은 나 설정처럼 예측 가능한 곳에서 강제해야 한다.
에이전트가 어떤 도구를 실행할 수 있는지, 어떤 데이터를 읽을 수 있는지, 어떤 행동을 할 수 있는지를 밖에서 제한해야 한다. 그렇게 하지 않으면 규칙이 아니라 모델에게 바라는 요청에 가깝다.
핵심 포인트
- 에 적힌 규칙은 모델이 항상 지키는 강제 규칙이 아니다.
- 대화가 길어지면 앞선 문맥의 영향이 약해질 수 있다.
- , 데이터 읽기, 행동 범위는 에서 제한해야 한다.
- 긴 규칙 에 의존하면 토큰 사용과 실패 가능성이 함께 늘 수 있다.