hermes agent용 96~128GB 그래픽 메모리 구성 고민
에서 A3B Q8_K_XL 모델을 돌리려는 실제 하드웨어 구성 사례다. 목표는 96~128GB VRAM에 잘 맞는다는 정보를 바탕으로, 여러 그래픽카드를 묶어 큰 모델을 실행하는 것이다. 현재 장비는 두 대다.
하나는 NVIDIA 두 장, ASRock Rack ROMED8-2T 메인보드, EPYC 7262, 시스템 메모리 64GB 구성이다. 다른 하나는 9900X, 시스템 메모리 32GB, Radeon 7900 XTX와 7900 XT 구성이다. NVIDIA와 AMD 그래픽카드를 함께 쓰려면 의 Vulkan 가 필요할 가능성이 있다는 점이 핵심이다.
다만 실제로 이 조합이 안정적으로 작동한다는 확인은 아직 없다.
핵심 포인트
- 목표 모델은 A3B Q8_K_XL이다.
- 에서 96~128GB VRAM 환경에 맞는 모델로 검토되고 있다.
- 한 장비는 두 장과 EPYC 7262, 시스템 메모리 64GB 구성이다.
- 다른 장비는 Radeon 7900 XTX와 7900 XT, 시스템 메모리 32GB 구성이다.
- NVIDIA와 AMD 그래픽카드를 섞으려면 의 Vulkan 가 필요할 수 있다.