"토큰 90% 절감" 주장, 실제로는 과장일 가능성 높다는 지적
한 Reddit 이용자가 개인이 만든 나 도구로 토큰(문맥) 사용량을 90% 줄였다는 식의 주장에 의문을 제기했다. 요지는 이렇다. AI, Anthropic, Google 같은 회사들은 이미 막대한 자금을 투입해 가장 효율적인 토큰 관리 방법을 연구하고 있다.
자동차 연비를 개인이 하나로 90% 개선하기 어려운 것처럼, 몇 가지 영리한 나 트릭만으로 토큰을 90% 절감했다는 주장도 현실적으로 매우 어렵다는 것이다. 관리 문제 자체가 LLM() 구조에 내재된 근본적인 한계이기 때문에, 토큰을 아끼고 속도를 높이려면 상당한 수준의 링이 필요하며, 지금 모든 AI 기업들이 이 문제를 먼저 풀기 위해 경쟁하고 있다는 설명이다.
핵심 포인트
- 개인이 나 코드만으로 토큰을 90% 절감했다는 주장은 현실적으로 매우 어렵다는 지적
- AI·Anthropic·Google 등은 이미 막대한 자금을 투입해 토큰 관리 효율화를 연구 중
- 관리 문제는 LLM 구조 자체에 내재된 한계로, 해결하려면 상당한 링이 필요
- 현재 모든 AI 제공사가 이 문제를 먼저 해결하려 경쟁하고 있다는 설명