98GB짜리 DeepSeek 모델, 저사양 PC서 속도 3배 빨라져
한 사용자가 6코어 CPU, 16GB VRAM GPU(RTX 4060 Ti), 138GB RAM으로 구성된 저사양 데스크탑에서 98GB 크기의 대형 언어모델(, 양자화된 버전)을 CPU와 GPU를 함께 활용해 구동했다. 라는 추론 엔진의 최신 빌드(b9986~b10034 사이 버전)를 사용한 결과, 초당 생성 토큰 수(추론 속도)가 기존 2토큰/초에서 7토큰/초로, 약 3배(300%) 향상되었다. 이는 개발자들이 최근 CPU+GPU 혼합 추론 성능을 집중적으로 개선하고 있음을 보여주는 사례다.
핵심 포인트
- 98GB 크기 을 6코어 CPU + 16GB VRAM GPU로 구동
- 특정 빌드 구간에서 추론 속도가 2토큰/초 → 7토큰/초로 향상
- 고가 서버급 하드웨어 없이도 초대형 모델 로컬 구동이 점점 현실화되고 있음