AI 에이전트 비용은 모델보다 컨텍스트 관리에서 더 줄어든다
의 은 단순히 더 싼 모델로 바꾸는 것만으로 크게 줄지 않을 수 있다. 여러 실제 사례에서 더 큰 절감은 에이전트가 컨텍스트에 넣을 수 있는 정보량을 제한할 때 나왔다. 예측하기 어려운 큰 터미널 명령 출력은 토큰을 빠르게 늘릴 수 있어서, Codex 사례에서는 에 출력 제한 규칙을 넣는 것만으로 을 거의 절반으로 줄였다.
도 큰 비용을 만든다. 한 팀은 정의 508개를 매번 보내면서 실행 1회당 약 377달러를 썼지만, 모든 도구 설명을 처음부터 보내지 않는 방식으로 약 29달러까지 낮췄다. 또 다른 측정에서는 사용자가 첫 질문을 하기 전부터 약 6만7000 토큰이 이미 쓰였다.
모델을 상황에 맞게 고르는 일도 도움이 되지만, 큰 폭의 비용 절감은 보통 , 도구 목록, 초반 컨텍스트를 작게 유지하는 데서 나온다.
핵심 포인트
- 더 싼 모델로 바꾸는 것은 절감에 도움이 되지만, 가장 큰 절감 원인은 아닐 수 있다.
- 예측할 수 없는 큰 터미널 명령 출력은 컨텍스트를 빠르게 채워 토큰을 낭비한다.
- Codex 사례는 에 출력 제한 규칙을 넣어 을 약 절반 줄였다.
- 정의 508개를 매번 보내던 팀은 실행당 비용을 약 377달러에서 29달러로 낮췄다.
- 사용자 첫 질문 전부터 약 6만7000 토큰이 쓰인 사례도 있었다.