도구가 많은 AI 에이전트의 토큰 비용 문제
회사 제품 전반에서 쓰는 중앙 가 를 통해 작동하고 있다. 이 에이전트는 과 제품 안에서 여러 기능을 처리한다. 문제는 에이전트에게 연결된 도구가 많아질수록, 사용자가 짧게 “안녕”이라고만 입력해도 매번 많은 이 쓰인다는 점이다.
회의 일정 변경, 이메일 보내기, 다가오는 회의 찾기 같은 작업을 하려면 각 도구의 설명을 모델에 함께 보내야 하기 때문이다. 실제로 아주 짧은 입력 하나에도 약 1만 토큰이 소모될 수 있다. 목표는 관리자가 제품에서 할 수 있는 거의 모든 일을 채팅이나 음성으로 처리하게 만드는 것이지만, 제품 기능이 많아질수록 현재 방식은 비용 면에서 잘 늘어나지 않는다.
필요한 방향은 에이전트가 처음부터 모든 도구 설명을 받는 대신, 필요한 도구를 단계적으로 찾거나 도구 검색 기능을 쓰는 방법이다.
핵심 포인트
- 도구가 많을수록 사용자 입력과 상관없이 이 커진다.
- 짧은 인사만 보내도 약 1만 토큰이 쓰일 수 있다.
- 도구 설명을 모델에 보내야 에이전트가 회의 변경, 이메일 발송 같은 작업을 할 수 있다.
- 제품 기능이 많은 서비스에서는 모든 도구를 매번 넣는 방식이 비용 면에서 확장되기 어렵다.
- 도구를 단계적으로 찾거나 검색하는 구조가 가능한 해결 방향이다.