토큰 사용을 줄이려는 프록시 도구, The Distillery
The ery는 과 서비스 사이에 두는 프록시 도구다. 목표는 모델에 오가는 토큰 사용을 줄이는 것이다. 토큰이 줄면 같은 작업을 더 낮은 비용으로 처리할 가능성이 있다.
특히 여러 번 질문하고 답을 이어 가는 에서는 이 빠르게 늘 수 있어 관련성이 크다. 공개된 항목만으로는 어떤 방식으로 토큰을 줄이는지, 어떤 모델 서비스를 지원하는지, 실제 비용 절감 수치가 있는지는 확인할 수 없다.
핵심 포인트
- The ery는 프록시로 소개된다.
- 과 서비스 사이에서 토큰 사용을 줄이는 목적의 도구다.
- 을 줄이면 을 낮추는 데 도움이 될 수 있다.
- 에이전트처럼 여러 번 모델을 호출하는 구조에서 특히 비용 관리와 관련이 있다.
- 현재 항목만으로는 지원 서비스, 절감률, 작동 방식은 확인되지 않는다.