문맥 압축 도구가 Anthropic 토큰 비용을 더 늘릴 수 있다
한 자가 예상보다 높았던 청구액을 직접 점검한 결과, 자체 캐시 방식이 핵심 원인으로 지목됐다. 캐시로 재사용할 메시지 부분은 이전 요청과 정확히 같아야 하며, 내용이 바뀌면 더 저렴한 캐시 을 쓰지 못할 수 있다.
따라서 문맥을 줄이는 도구가 항상 비용을 아끼는 것은 아니다. 한 내용을 나중에 다시 불러오면 한 작업에서 절약한 양보다 더 많은 을 쓸 수 있다.
도구가 문맥이나 정보의 배열을 바꿔도 기존 캐시가 맞지 않아 더 비싼 일반 으로 처리될 수 있다. 직접 확인한 모든 사례에서는 캐시를 놓쳐 늘어난 비용이 으로 아낀 금액보다 훨씬 컸다.
핵심 포인트
- 캐시로 재사용할 메시지 부분은 이전 요청과 정확히 같아야 한다.
- 한 문맥을 다시 불러오면 절약한 양보다 더 많은 을 쓸 수 있다.
- 문맥이나 정보 배열이 바뀌면 저렴한 캐시 을 놓칠 수 있다.
- 확인된 사례에서는 캐시 손실로 늘어난 비용이 절감액보다 컸다.