LiteLLM 비용 계산이 늦을 때 쓰는 대체 가격 지도
은 깃허브에 있는 모델 가격 지도를 불러와 모델별 비용과 문맥 길이를 계산할 수 있다. 하지만 이 파일은 커뮤니티가 고치기 때문에 새 모델 가격이 늦게 들어가거나, 빠진 채 남거나, 잘못된 숫자가 한동안 유지될 수 있다. 비용을 더 정확히 보려면 모델별로 설정을 덮어쓰거나, `_MODEL_COST_MAP_URL` 로 직접 관리하는 가격 지도 주소를 넣을 수 있다.
예시로 든 `cloudprice.net` 가격 지도는 같은 형식을 쓰며, 각 제공사에서 가격을 가져와 매일 새로 고친다. 이 지도에는 채팅과 임베딩뿐 아니라 이미지, 오디오, 비디오, 재정렬, OCR 가격도 들어 있다. 기본 지도에는 없는 약 340개 모델 가격도 포함되어 있으며, 의 Z.AI , , Vercel 쪽 새 모델 같은 최근 모델이 주로 해당된다.
무료로 쓸 수 있고 별도 키는 필요 없지만, 과도한 사용을 막기 위한 제한이 있다. 추가 제안은 게이트웨이 화면에서 기본 가격 지도와 예비 가격 지도를 여러 개 등록하고, 한쪽에 없는 모델은 다른 쪽에서 찾게 하자는 것이다.
핵심 포인트
- 의 기본 가격 지도는 커뮤니티 관리라 새 모델과 가격 변경이 늦을 수 있다.
- `_MODEL_COST_MAP_URL` 로 직접 관리하는 가격 지도 주소를 지정할 수 있다.
- 대체 가격 지도는 제공사 가격을 매일 새로 가져오며 과 같은 형식을 쓴다.
- 채팅, 임베딩뿐 아니라 이미지, 오디오, 비디오, 재정렬, OCR 가격도 포함한다.
- 기본 지도에 없는 약 340개 모델 가격을 추가로 제공한다.