LLM 제공사별 속도·가격·안정성 비교 사이트 ProviderBench 공개
Bench는 여러 LLM() 호스팅 업체를 비교하는 무료 웹사이트다. 기존 리더보드들은 업체마다 서로 다른 모델 목록을 비교하다 보니, 더 작은 모델을 쓰는 업체가 실제보다 빨라 보이는 착시가 생기는 문제가 있었다.
Bench는 이 문제를 피하기 위해 동일한 를 제공하는 업체끼리만 비교한다. 현재 295건의 검증된 업체 비교 데이터를 제공하며, 응답 시간, 첫 응답까지 걸리는 시간, 처리량( 속도), 가격, , , 정확한 라우팅 태그 등의 지표를 담고 있다.
회원가입 없이 무료로 이용할 수 있고, 업체 간 비교·모델별 비교·업체별 종합 지표 페이지 등을 제공한다. 개발자는 특히 모델별 가격/속도 우승자를 계산하는 방식에 대한 피드백을 구하고 있다.
핵심 포인트
- 동일 기준으로만 업체를 비교해 착시를 줄임
- 295건의 업체 비교 데이터 제공(응답시간·처리량·가격·가동률·컨텍스트 등)
- 무료, 회원가입 불필요
- 업체 간 비교, 모델별 비교, 업체 종합 지표 페이지 등을 제공