64GB 램에서 Qwen3.5 122B가 Qwen3 Next 80B보다 낫다는 사용 후기
64GB 일반 RAM 환경에서 UD-Q2_K_XL 양자화로 압축한 .5 122B( 10B) 모델을 돌려본 결과를 공유하는 내용이다. 기존에는 UD-Q4_K_XL로 양자화한 80B를 사용했고 DDR4 기준 초당 8.5토큰 속도가 나왔다.
반면 .5 122B A10B는 2비트 수준으로 낮춘 양자화(Q2)임에도 응답 품질과 내부 지식 수준이 오히려 더 좋았다고 한다. 다만 속도는 초당 약 2.9토큰으로 크게 느려졌고, CPU에서 두 모델을 모두 돌리다 보니 속도도 많이 떨어졌다.
더 빠른 DDR5-5600 램을 쓰면 생성 속도가 초당 6토큰까지 오를 것으로 예상하며, 이 정도면 실사용 가능한 수준이라고 본다. 품질 차이는 .5 122B가 채택한 일반적인 구조가, 구조적으로 다소 낡은 80B의 방식보다 지식을 더 잘 압축해 담기 때문으로 추정한다.
핵심 포인트
- 64GB RAM에서 UD-Q2_K_XL로 양자화한 .5 122B A10B가 UD-Q4_K_XL 80B보다 응답 품질이 더 좋았다
- 속도는 DDR4 기준 초당 2.9토큰으로, 기존 8.5토큰보다 크게 느림
- DDR5-5600 램이면 생성 속도가 초당 6토큰까지 오를 것으로 예상됨
- 구조가 지식을 더 잘 압축해 담아 품질 차이를 만든다고 추정