antirez DS4 모델, 2비트 양자화에서도 로컬 '큰 두뇌'로 활약

한 사용자가 로컬에서 Qwen 3.6 35B A3B 모델을 주력으로 쓰다가, 그 모델이 막히는 어려운 문제나 계획 수립이 필요할 때 보조 모델로 antirez가 만든 DS4 flash를 함께 쓰고 있다. 이 사용자는 2비트로 양자화된 DS4를 사용하는데도 성능이 매우 뛰어나다고 밝혔다.

하드웨어는 Nimo Strix Halo 박스에 128GB 메모리를 갖췄고, kyuz0가 만든 소프트웨어 스택과 ROCm(AMD GPU 연산 플랫폼)을 사용 중이다. 같은 2비트 수준으로 양자화된 unsloth의 GGUF 버전과 성능을 비교해본 사람이 있는지 커뮤니티에 묻고 있다.