오픈소스 프록시로 LLM 호출 비용을 로컬에서 추적한다
inferock-bench는 AI, Anthropic, Gemini와 고정된 버전의 호출을 중간에서 가로채는 도구다. 요청이 지나갈 때마다 과 실패 여부를 기록하고, 청구 내역이 실제 사용량과 일치하는지 확인할 수 있는 영수증(receipt) 데이터를 남긴다. 별도 서버 없이 에서 동작하도록 설계됐다.
핵심 포인트
- AI·Anthropic·Gemini·고정 버전 호출을 지원
- 로컬에서 실행되는 프록시 형태
- 과 실패(failure)를 기록
- 청구 내역이 실제 사용량과 맞는지 확인하는 영수증 기능 제공