오픈소스중요도: 낮음
OpenRouter에서 토큰 캐싱이 잘 되는지 확인하는 고민
r/TAVO_AICHAT2026년 7월 8일 · 4일 전
로 를 쓰는 상황에서 토큰을 아끼기 위해 을 시도했다. 은 반복해서 보내는 입력을 다시 계산하지 않게 해 비용을 줄이는 방식이다.
하지만 실제 사용에서는 캐시되는 양이 거의 없어 절감 효과가 작게 보인다. 핵심 문제는 을 어떻게 제대로 설정하는지, 그리고 캐싱이 실제로 작동하는지 어떤 지표로 확인할 수 있는지이다.
핵심 포인트
- 에서 를 쓰며 토큰 절감을 시도했다.
- 을 사용했지만 실제로 캐시되는 양이 거의 없었다.
- 중요한 확인점은 캐싱 설정 방법과 작동 여부를 보는 지표다.
- 비용 절감에는 반복되는 고정 입력을 안정적으로 유지하는 설계가 필요하다.