AMD 서버에서 Hermes-Agent용 vLLM 실행 시 FP8 MoE 오류
와 Ollama의 조합이 원활하지 않아, 서버의 실행 도구를 vLLM로 바꾼 사례다. 서버는 AMD Ryzen AI Max+ 395와 Radeon 8060S, 통합 메모리 128GB를 갖춘 GekTec EVO-X2다.
바이오스에서 시스템 메모리 32GB와 96GB로 나눴으며, Docker 설정에 상당한 시행착오가 있었지만 26B 모델은 약 70GB의 로 실행됐다. 반면 를 적용한 MoE 모델은 파일을 내려받기 전부터 vLLM이 종료됐다.
로그에는 FP8 MoE를 처리할 백엔드가 구현되지 않았다는 오류가 표시됐다. AMD용 ROCm 기반 vLLM을 에서 사용할 때 FP8 MoE 모델을 실제로 실행할 수 있는지와 필요한 설정은 아직 확인되지 않았다.
핵심 포인트
- 와 Ollama가 원활히 작동하지 않아 vLLM을 대신 사용했다.
- AMD 통합 메모리 128GB 중 96GB를 로 배정했다.
- 26B 모델은 약 70GB의 에서 실행됐다.
- MoE 모델은 다운로드 전에 백엔드 미구현 오류로 종료됐다.
- 검증된 Docker 설정이나 해결책은 아직 제시되지 않았다.