LatentGate, 로컬 압축으로 AI 사용 비용을 줄이는 도구
LatentGate는 이미지, 긴 글, 대화 기록, 검색용 문서를 먼저 개인 컴퓨터에서 줄인 뒤, 핵심 내용만 외부 로 보내는 파이썬 도구다. 는 로 실행하며, OpenAI, Anthropic, Google, Groq 같은 여러 외부 AI 서비스와 연결할 수 있다. 목표는 외부 AI에 보내는 토큰 수를 크게 줄여 비용을 낮추는 것이다.
예시 기준으로 이미지를 바로 외부 AI에 보내면 약 1,200 토큰이 들지만, LatentGate를 거치면 약 200 토큰만 보낸다고 제시한다. 긴 글은 약 800 토큰에서 120 토큰, 10턴 대화는 약 2,500 토큰에서 350 토큰, 문서 3개 기반 질문은 약 3,000 토큰에서 450 토큰으로 줄어든다는 벤치마크가 있다. 1만 번의 이미지 질문을 로 처리할 때 입력 토큰은 1,200만 개에서 200만 개로 줄고, 비용은 1.80달러에서 0.30달러로 낮아진다고 제시한다.
, Cursor, , Continue, Zed 같은 도구에서는 로 붙여 이미지, 긴 프롬프트, 큰 대화 기록, 문서 질문을 자동으로 압축하게 할 수 있다. 반복 이미지 캐시, 모델 미리 올리기, 병렬 처리, 영상에서 장면이 바뀔 때만 호출하는 방식도 포함되어 있다.
핵심 포인트
- 이미지, 긴 글, 대화 기록, 문서를 로컬에서 줄인 뒤 외부 로 보낸다.
- 를 에 쓰고, OpenAI·Anthropic·Google·Groq 등 여러 서비스와 연결할 수 있다.
- 이미지 입력은 예시상 약 1,200 토큰에서 약 200 토큰으로 줄어든다.
- 로 , Cursor, , Continue, Zed 같은 AI 도구에 붙일 수 있다.
- 제시된 대규모 예시는 이미지 질문 1만 번의 비용이 1.80달러에서 0.30달러로 낮아진다는 내용이다.