모델 가격표만 보고 고르면 실제 비용이 더 비쌀 수 있다
Microsoft , , Berkeley, CMU의 새 연구는 최신 8개를 9개 작업 분야에서 비교했다. 가격표에 적힌 토큰당 가격과 실제 작업을 끝내는 데 든 비용은 자주 달랐다. 직접 비교한 경우 5번 중 1번 이상에서, 토큰당 가격이 더 싼 모델이 실제로는 더 비쌌다.
가장 큰 차이는 28배였다. 대표 사례로 는 보다 표시 가격이 78% 저렴했지만, 전체 작업 기준 실제 실행 비용은 22% 더 높았다. 이유는 모델마다 같은 질문에 쓰는 토큰 양이 크게 다르기 때문이다.
같은 요청에서도 어떤 모델은 다른 모델보다 생각 토큰을 900% 더 많이 썼고, 생각 토큰은 전체 출력 비용의 80%를 넘었다. 같은 모델에 같은 질문을 다시 넣어도 실행마다 비용이 최대 9.7배까지 흔들렸다.
핵심 포인트
- 토큰당 가격이 싼 모델이 실제 작업 비용까지 싼 것은 아니다.
- 는 보다 표시 가격이 78% 낮았지만, 전체 작업 기준 비용은 22% 더 높았다.
- 같은 질문에서 모델에 따라 생각 이 900%까지 차이 났다.
- 생각 토큰은 전체 출력 비용의 80%를 넘을 수 있다.
- 같은 모델과 같은 질문도 실행할 때마다 비용이 최대 9.7배 흔들릴 수 있다.