싼 모델 가격은 더 강한 양자화를 뜻할 수 있다
의 일부 큰 가격은 실제 서버 비용과 잘 맞지 않아 보인다. 를 예로 들면, 싼 8대 임시 서버를 시간당 12~14달러에 빌리고 FP8 방식으로 돌려도 계산이 빡빡하다. 한 서버 묶음이 초당 175개를 만든다면, 한 시간에 약 63만 개의 만 만든다.
이 경우 운영비와 이윤을 빼기 전에도 100만 개당 약 22달러가 든다. 그런데 이 100만 개당 약 4달러라면, 실제로는 처리량이 훨씬 높거나, 서버 비용이 훨씬 싸거나, 모델이 더 강하게 최적화 또는 양자화되어야 한다. FP8보다 더 낮은 정밀도로 줄이면 답변 품질이 꽤 떨어질 수 있다는 걱정도 있다.
FP8만 써도 품질이 8~10% 낮아질 수 있다는 추정이 나오지만, 이런 품질 저하는 정확히 숫자로 재기 어렵다.
핵심 포인트
- 같은 큰 은 싼 과 서버 비용 사이에 차이가 있어 보인다.
- 8대 서버를 시간당 약 14달러에 써도 초당 175개라면 원가가 높다.
- 이 계산에서는 100만 개당 약 22달러가 들어 4달러와 맞지 않는다.
- 가능한 설명은 더 높은 처리량, 더 싼 서버, 더 강한 최적화나 양자화다.
- 비용 비교에서는 토큰 단가뿐 아니라 품질 저하와 재시도 비용도 봐야 한다.