32GB 메모리에서 로컬 모델 양자화 선택 고민
32GB 환경에서 -A3B 모델을 Q4로 실행하면 초당 약 15개의 토큰을 출력한다. 같은 환경에서 모델도 코드베이스 작업에 써볼 후보로 검토되고 있다.
는 크기가 더 작아서 Q8 설정으로도 여유 있게 올릴 수 있고, 경우에 따라 BF16 실행도 가능할 수 있다. 핵심 고민은 큰 모델을 더 많이 압축해 쓰는 방식과 작은 모델을 덜 압축해 쓰는 방식 중 어느 쪽이 실제 작업 품질과 속도에 더 나은지다.
핵심 포인트
- 32GB 에서 -A3B Q4가 초당 약 15개 토큰을 낸다.
- 는 더 작아서 Q8로도 메모리에 여유 있게 들어갈 수 있다.
- BF16 실행 가능성도 언급될 만큼 의 메모리 부담은 낮아 보인다.
- 큰 모델을 Q4로 압축할지, 작은 모델을 Q8로 덜 압축할지가 핵심 비교점이다.