Qwen을 로컬에서 돌릴 그래픽카드 메모리 질문
Qwen 모델을 자기 컴퓨터에서 실행하려는 사람이 그래픽카드 13장을 가진 구성으로 충분한지 묻고 있다. 구성은 11장, 1장, RTX 5060 Ti 1장이다.
핵심은 클라우드 비용을 내지 않고 로컬에서 큰 언어 모델을 돌릴 수 있는 하드웨어가 충분한지 확인하려는 것이다. 구체적인 Qwen 모델 크기, 양자화 방식, 실행 도구, 원하는 속도는 제시되지 않았다.
핵심 포인트
- Qwen을 로컬 컴퓨터에서 실행할 수 있는지 묻는 내용이다.
- 제시된 하드웨어는 11장, 1장, RTX 5060 Ti 1장이다.
- 모델 크기나 실행 방식이 없어 정확한 판단은 어렵다.
- 은 API 사용료를 줄일 수 있지만 장비 비용과 전기요금이 든다.