AI 에이전트 벤치마크 한 번에 수천~4만 달러가 들 수 있음
를 인기 벤치마크로 평가하려면 토큰 비용이 매우 크게 들 수 있다. 나 같은 벤치마크는 한 번 실행하는 데만 수천 달러가 들 수 있다는 경험담이 나왔다. 결과를 믿으려면 보통 여러 번 돌려 평균을 내야 하므로 총비용은 더 커진다.
특히 으로 를 실행하면 한 번에 최대 4만 달러까지 들 수 있다는 추정이 제시됐다. 합리적인 결과를 얻기 위해 20만 달러 가까이 쓰지 않아도 되는 더 저렴한 벤치마크가 필요한 상황이다.
핵심 포인트
- 와 같은 벤치마크는 한 번 실행에도 큰 토큰 비용이 들 수 있다.
- 한 번의 결과만으로는 부족해 여러 번 실행하면 비용이 빠르게 커진다.
- 으로 를 돌리면 한 번에 최대 4만 달러가 들 수 있다는 추정이 나왔다.
- 저렴한 벤치마크나 작은 사전 테스트가 개발 비용을 줄이는 데 중요하다.