128GB Strix Halo에서 Hermes를 로컬로 쓰려는 구성
128GB 를 가진 395+ AI Max PC에서 를 로컬로 돌리려는 구성이 제시됐다. 사용 가능한 VRAM은 약 96GB로 잡고, 의 일상용 주 모델로 무엇이 가장 알맞은지가 핵심이다. 후보로는 4.3 36B와 가 언급됐다.
추가로 USB4로 엔비디아 4090 그래픽카드를 연결해 더 작은 모델이나 을 완전히 오프로딩하려는 계획도 있다. AMD 기반 장비에서 이런 연결과 모델 분리가 까다로울 수 있다는 점이 걱정거리다.
핵심 포인트
- 128GB 395+ AI Max PC에서 를 로컬 실행하려는 구성이다.
- 사용 가능한 VRAM은 약 96GB로 보고 있다.
- 일상용 주 모델 후보는 4.3 36B와 다.
- USB4로 엔비디아 4090 그래픽카드를 붙여 작은 모델이나 을 오프로딩하려는 계획이 있다.
- AMD 환경에서 연결이 까다로울 수 있다는 우려가 있다.