반복 호출로 AI 비용이 새는 문제를 막는 Synapse Proxy
는 앱과 제공사 사이에 놓이는 다. 가 같은 도구 호출을 짧은 시간 안에 여러 번 반복하면 이를 감지한다. 일반 오류를 돌려보내 프로그램을 멈추게 하는 대신, 에이전트에게 반복 중이니 다른 방법을 시도하라는 가짜 성공 응답을 보낸다.
이렇게 하면 이나 같은 에이전트 도구가 갑자기 깨지지 않고 반복에서 빠져나오도록 유도한다. 이메일이나 키 같은 개인 정보를 모델 제공사로 보내기 전에 지울 수 있고, 허용하지 않은 도구 호출도 막을 수 있다. Next.js로 만든 텔레메트리 대시보드는 이 검색 기반 답변, 코딩, 채팅 중 무엇에 가까운지 로컬에서 분류한다.
내장된 의미 캐시는 토큰 사용량을 약 30% 줄이는 것을 목표로 한다.
핵심 포인트
- 는 앱과 모델 제공사 사이에서 요청을 감시하는 다.
- 같은 도구 호출이 짧은 시간에 반복되면 에이전트에게 다른 방법을 시도하라는 성공 응답을 돌려준다.
- 개인 정보 제거와 허용 도구 목록 기능으로 민감한 데이터 전송과 잘못된 도구 호출을 줄일 수 있다.
- Next.js 대시보드는 에이전트가 어떤 종류의 작업을 하는지 로컬에서 분류한다.
- 내장 의미 캐시는 토큰 사용량을 약 30% 줄인다고 제시된다.