GPU별 오픈 모델 비용·속도 벤치마크 요청 모집
HexGrid Cloud가 대화형 을 여러 GPU에서 시험해 보겠다고 밝혔다. 목표는 실제 여러 사용자가 동시에 쓰는 상황에서 모델을 얼마나 빠르고 싸게 제공할 수 있는지 확인하는 것이다. 후보 모델은 Nemotron-3 Super 120B-A12B, Nemotron-3 Nano 30B A3B, Qwen-3.6 27B, Llama 3.3 70B Instruct, -4 31B, Devstral-Small-2-24B-Instruct-2512이며, 한 대의 H200에 올라갈 수 있는 다른 대화 모델도 제안받는다.
시험 가능한 GPU는 , L40S, H100, H200이고, 정밀도 선택지는 FP8, AWQ, BF16이다. 는 8천, 3만2천, 6만4천, 12만8천 토큰 중에서 고를 수 있다. 측정 항목은 , 첫 응답까지 걸리는 시간, 이후 토큰이 나오는 속도, 동시 사용 상황의 처리량, 100만 토큰당 비용이다.
결과를 공개할 때 설정과 실행 옵션도 함께 제공해 다른 사람이 같은 조건으로 다시 확인할 수 있게 하겠다는 계획이다.
핵심 포인트
- 대화형 을 실제 동시 사용 조건에서 벤치마크하려 한다.
- , L40S, H100, H200 같은 GPU별 성능과 비용을 비교할 수 있다.
- 는 최대 12만8천 토큰까지 선택할 수 있어 긴 작업을 하는 에이전트와 관련이 있다.
- 결과에는 , 첫 응답 시간, 처리량, 100만 토큰당 비용이 포함될 예정이다.
- 설정과 실행 옵션도 공개해 같은 조건으로 재현할 수 있게 하겠다는 계획이다.