낡은 그래픽카드 3장으로 Gemma 4를 돌린 속도 비교
계열 모델을 오래된 Nvidia GTX-1070 그래픽카드 3장으로 돌려 본 실제 추론 속도 비교다. 컴퓨터 환경은 K, AMD Ryzen 5 3600 6코어 CPU, 메모리 48GiB, 그래픽카드별 VRAM 8GiB씩 총 24GiB다. 세 그래픽카드의 전력 제한은 각각 120W, 121W, 122W로 낮췄고, 추론 속도는 약 5% 줄었지만 전원 공급 장치 부담은 낮아졌다.
의 빌드와 파일을 사용했다. 31B 양자화 모델은 17.52GiB로 벤치마크에 3분 35초가 걸렸고, 생성 속도는 초당 7.12토큰이었다. 12B Q8 모델은 12.69GiB로 1분 59초가 걸렸고 초당 13.47토큰이었다.
26B.A4B Q4 모델은 15.83GiB로 1분 45초, 초당 41.28토큰이었고, 26B.A4B QAT 모델은 13.26GiB로 1분 30초, 초당 53.08토큰으로 가장 빠른 생성 속도를 냈다. 세 그래픽카드는 서로 다른 PCIe 속도에 꽂혀 있으며, 그중 하나는 1x 확장기에 연결되어 있다.
핵심 포인트
- GTX-1070 3장, 총 VRAM 24GiB 환경에서 모델들을 비교했다.
- 전력 제한을 걸면 추론 속도는 약 5% 줄지만 전력 부담을 낮출 수 있다.
- 26B.A4B QAT 모델은 13.26GiB 크기로 초당 53.08토큰을 생성해 가장 빠른 생성 결과를 보였다.
- 31B Q4 모델은 더 크지만 생성 속도는 초당 7.12토큰으로 느렸다.
- 로컬 추론 비용을 줄이려면 모델 크기, 양자화 방식, 하드웨어 구성을 함께 봐야 한다.