토큰 절약 90%라도 전체 비용에선 1% 미만일 수 있다
도구의 '토큰 절약률'을 평가할 때 무엇을 분모로 삼는지가 핵심이라는 분석이다. 140건을 분석한 결과, RTK라는 방식으로 절약 가능한 셸 명령 결과(리턴값)는 전체 작업 토큰 중 겨우 0.1618%에 불과했다. 이 부분에서 이론상 완벽하게 90%를 절감한다고 가정해도, 작업 전체 비용 기준으로 환산하면 실제 절감 효과는 0.96%에 그친다.
즉 도구 차원에서 홍보하는 '90% 절약' 같은 수치는 그 도구가 다루는 좁은 범위에서만 계산된 것이고, 프롬프트·대화 기록·추론 과정·재시도·이후 라운드까지 포함한 작업 전체로 보면 체감 효과가 거의 없을 수 있다는 것이다. 분석 원문과 원시 데이터는 별도 블로그에 공개되어 있다.
핵심 포인트
- 실행 140건을 분석
- RTK 방식이 절약 가능한 부분은 전체 작업 토큰의 0.1618%뿐
- 그 부분을 90% 절감해도 전체 비용 절감 효과는 0.96%
- 도구 차원 절약률과 작업 전체 절감률은 다르다는 점이 핵심