20GB 그래픽 메모리에서 Qwen3.6 35B A3B로 코딩 에이전트 실행
64GB 노트북과 20GB 의 Radeon RX 7900 XT 에서 pi 코딩 에이전트를 로컬로 실행한 경험이다. 는 구조와 을 이용해 비교적 높은 정밀도의 양자화 모델을 구동할 수 있었다. Q8 설정에서는 문맥 길이 10만 토큰, UD-Q6_KL 설정에서는 최대 26만2천 토큰까지 넣을 수 있었다.
속도는 빠르지 않지만 초당 20개가 넘는 토큰을 생성해 실제 사용에는 충분했다. 같은 사양에서 다른 을 선택할지, 정밀도를 더 낮춘 밀집형 모델을 에 모두 올릴지가 아직 비교 과제로 남아 있다.
핵심 포인트
- 64GB 시스템 메모리와 20GB 를 함께 사용했다.
- 의 Q8 설정으로 문맥 길이 10만 토큰을 처리했다.
- UD-Q6_KL 설정에서는 최대 26만2천 토큰의 문맥을 넣었다.
- 을 사용해 모델 일부를 시스템 메모리에서 처리했다.
- 초당 20개가 넘는 토큰 생성 속도는 실제 사용에 충분했다.