새 AI 모델은 작업당 비용이 더 낮을 수 있다
새 은 입력과 출력의 단가만 보면 비싸 보여도, 실제로 문제를 더 잘 풀면 작업 1개를 끝내는 데 드는 비용은 더 낮아질 수 있다. 핵심 기준은 한 번 호출할 때의 가격이 아니라, 원하는 결과를 얻기까지 몇 번 다시 시도해야 하는지다. 더 똑똑한 모델이 한 번에 해결하면, 싼 모델을 여러 번 돌리는 것보다 전체 비용이 줄어들 수 있다.
핵심 포인트
- 비용은 호출 1회 가격보다 작업 1개를 끝내는 총비용으로 봐야 한다.
- 새 모델이 더 정확하면 횟수가 줄어 전체 비용이 낮아질 수 있다.
- 에서는 실패한 단계가 다음 단계 비용까지 키울 수 있다.
- 쉬운 작업은 저렴한 모델, 어려운 작업은 좋은 모델이 나을 수 있다.