전용 그래픽카드 없는 미니 서버의 로컬 AI 속도 한계
MS-02 미니 피시를 홈서버로 두고 전용 그래픽카드 없이 을 돌리는 실사용 테스트가 진행됐다. 장비는 Intel Core Ultra 285HX와 메모리 64GB 구성이며, 주로 의 배포판 기본 설정을 사용했다. 모델을 빠르게 바꿔 실행하는 Llama-Swap은 편리했지만, SYCL과 잘 맞지 않아 테스트가 번거로웠다.
Vulkan으로 iGPU를 쓰기 위해 /dev/dri를 추가했지만, 실행 중에는 iGPU만 쓰는 것이 아니라 CPU도 거의 같은 수준으로 함께 쓰는 것처럼 보였다. Qwen3-30B-A3B-Instruct-2507-IQ4_NL은 실행되지만 약 2토큰/초로 느렸다. 의 Q4_K_S 4.22bpw 버전과 IQ4_XS 3.93bpw 버전은 각각 약 0.5토큰/초에 그쳤다.
26B A4B MXFP4 MOE도 실행 대상에 포함됐지만, 확인 가능한 내용 안에는 완성된 속도 수치가 없다.
핵심 포인트
- MS-02 미니 피시, Intel Core Ultra 285HX, 메모리 64GB로 테스트됐다.
- 전용 그래픽카드 없이 배포판을 주로 사용했다.
- Llama-Swap은 빠른 모델 전환에는 유용했지만 SYCL과 맞지 않아 불편했다.
- Vulkan과 iGPU를 켜도 CPU 사용량이 크게 줄어들지는 않은 것으로 보였다.
- 30B급 Qwen3는 약 2토큰/초, 35B급 은 약 0.5토큰/초 수준이었다.