맥미니 서버중요도: 낮음

5060 Ti 2장으로 로컬 Qwen 모델을 빠르게 실행한 사례

r/selfhosted2026년 6월 19일 · 23일 전

5060 Ti 16기가바이트 그래픽카드 2장을 쓴 에서 :35b 모델이 분당 약 23만4천 토큰 처리 속도를 냈다. 실행 환경은 였고, 와 를 함께 사용했다. 공개된 내용에서 확인되는 핵심은 그래픽카드 2장을 붙인 개인 장비로 큰 언어 모델을 집에서 돌렸다는 점과, 처리 속도가 수치로 제시됐다는 점이다.

핵심 포인트

  • 5060 Ti 16기가바이트 그래픽카드 2장을 사용했다.
  • 에서 :35b 모델을 실행했다.
  • 처리 속도는 분당 약 23만4천 토큰으로 제시됐다.
  • 실행 환경은 , , 조합이었다.
  • 사용자는 성능 비교 사례로 보는 것이 현실적이다.
원문 보기 ↗