Voodoo Quant, 소형 Qwen3.5 모델의 양자화 오차를 크게 줄였다고 주장
Voodoo Quant는 .5 0.8B와 2B 모델을 더 작고 가볍게 실행하도록 만든 새로운 묶음이다. 를 사용해 모델에서 중요한 부분에는 더 정밀한 숫자 표현을 배정한다.
Dynamic 2.0이 여러 텐서를 묶은 블록 단위로 정밀도를 고르는 것과 달리, Voodoo Quant는 모델의 모든 텐서를 각각 최적화한다. 제작자는 이 방식이 일부 KLD 비교에서 Dynamic 2.0보다 95% 개선됐다고 밝혔다.
다만 이 큰 수치는 측정 조건에 따라 나온 결과이며, 공개된 그래프에는 더 작고 현실적인 차이도 함께 나타난다고 짚었다. Torch와 는 계산을 구성하는 방식이 달라 별도의 결과를 냈고, 일반적으로 Torch 쪽 계산이 더 정밀한 것으로 여겨진다.
핵심 포인트
- .5 0.8B와 2B용 고성능 묶음이 공개됐다.
- 중요한 모델 부분에는 더 높은 숫자 정밀도를 배정한다.
- Dynamic 2.0은 블록 단위로 처리하지만 Voodoo Quant는 모든 텐서를 개별 최적화한다.
- 제작자가 제시한 일부 KLD 결과에서는 95% 개선이 측정됐다.
- Torch와 의 계산 구조가 달라 각각 따로 비교해야 한다.