LiteLLM, AI 비용 절감 효과를 보여주는 새 탭 공개
의 실험 기능인 ‘비용 절감’ 탭은 비용 최적화 기능으로 줄인 사용량과 금액을 한 화면에 보여준다. 으로 입력 내용을 줄였을 때 아낀 와 비용을 따로 집계한다.
에서는 반복되는 요청을 다시 처리하지 않은 으로 생긴 절감액을 추적한다. 두 최적화 기능이 시간에 따라 얼마나 효과를 냈는지 비교할 수 있으며, 짧은 시연 영상과 관련 문서도 제공된다.
핵심 포인트
- 새 비용 절감 탭은 최적화 기능별로 아낀 금액을 보여준다.
- 으로 감소한 과 비용을 집계한다.
- 의 으로 줄어든 재처리 비용을 추적한다.
- 시간이 지나면서 각 최적화 방법의 효과가 어떻게 달라지는지 확인할 수 있다.