16GB급 그래픽카드로 로컬 AI 모델을 어디까지 돌릴 수 있나
RTX 5080, 32GB 환경에서 을 더 잘 돌릴 방법을 찾는 사례다. 모델을 Q3KM 수준으로 줄였을 때 초당 약 60토큰이 나왔고, 모델을 IQ2 수준으로 더 많이 줄였을 때는 초당 약 190토큰이 나왔다. 낮은 압축 수준인 Q6에서 더 작은 수준으로 내려가면 정확도가 꽤 떨어질 수 있다는 점도 고려하고 있다.
남는 1080 Ti 그래픽카드의 11GB GDDR5X 메모리를 함께 써서 모델을 나눠 올리는 방안도 고민 중이다. 다만 그래픽카드 두 장을 쓰면 전력, 발열, 설정 복잡도가 늘어나므로 추가 메모리 11GB가 실제로 그만한 가치가 있는지가 핵심이다.
핵심 포인트
- RTX 5080과 32GB DDR4 환경에서 Qwen 계열 로컬 모델 실행을 비교하고 있다.
- 를 Q3KM으로 줄이면 초당 약 60토큰이 나온다.
- 를 IQ2로 줄이면 초당 약 190토큰이 나온다.
- Q6보다 더 낮은 수준으로 줄이면 정확도 손실이 커질 수 있다.
- 남는 1080 Ti의 11GB GDDR5X를 함께 쓰는 것은 메모리는 늘리지만 전력과 설정 부담도 늘린다.