Apple Silicon용 MLX 모델을 같은 크기에서 더 정확하게 줄이는 방법
mlx-optiq는 MLX에서 쓰는 을 더 작게 줄이면서도 정확도 손실을 줄이는 양자화 도구다. 보통은 모든 층을 똑같이 4비트로 줄이지만, mlx-optiq는 층마다 얼마나 민감한지 재고 중요한 층에는 8비트를 더 배정한다. 덜 민감한 층은 4비트로 유지해 전체 평균 크기는 비슷하게 맞춘다.
이렇게 만든 모델은 기본 `mlx_lm.load(...)`로 바로 불러올 수 있어 별도 실행 환경이 필요 없다. 같은 저장 크기에서 균일한 4비트 모델보다 정확도를 더 잘 지키며, 특히 작은 모델에서 차이가 크다. Google의 QAT 미적용 Gemma-4 가중치에서는 손실이 거의 없었고, QAT와 함께 써도 같은 비트 조건에서 성능이 더 나왔다.
예시로 E2B는 54.2점으로 균일 4비트의 52.1점보다 높았고 GSM8K는 58.6%였다. E4B는 65.8점으로 균일 4비트의 64.6점보다 높았고 GSM8K는 80.0%였다.
핵심 포인트
- mlx-optiq는 모든 층을 똑같이 줄이지 않고 층별 민감도에 따라 비트를 다르게 배정한다.
- 민감한 층은 8비트, 나머지는 4비트로 두어 전체 평균 크기를 비슷하게 맞춘다.
- 기본 MLX 로더인 `mlx_lm.load(...)`로 바로 불러올 수 있어 별도 실행 환경이 필요 없다.
- 같은 저장 크기에서 균일 4비트보다 정확도를 더 잘 유지하며 작은 모델에서 차이가 크다.
- 로컬 웹 화면과 OpenAI/Anthropic 호환 서버도 함께 제공되어 실험에 쓰기 쉽다.