Apple Silicon 맥에서 EXL3 모델 변환이 가능해졌다
맥에서도 이제 EXL3 모델을 실행하고, 추론하고, 변환할 수 있다. EXL3는 큰 언어 모델을 더 작게 줄여 일반 소비자용 기기에서 돌리기 쉽게 만드는 양자화 방식이다. 예전에는 이런 고품질 EXL3 양자화 작업이 주로 CUDA를 쓰는 엔비디아 RTX 그래픽카드 환경에 묶여 있었고, 보통 96GB에서 128GB급 를 갖춘 비싼 장비가 필요했다.
이제 macOS와 에서도 64GB 이상 메모리를 가진 맥으로 접근할 수 있다. MiniCPM5와 모델에서 변환이 확인됐다. MiniCPM5의 평균 KLD는 RTX 카드로 변환한 결과와 비슷했고, 는 아주 조금 뒤처지는 수준이었다.
EXL3는 같은 모델 품질을 더 작은 크기로 맞추는 면에서 MLX 양자화보다 대체로 가중치당 약 0.5비트 정도 유리하다고 소개됐다. 관련 도구 PonyExl3는 GitHub에 로 공개됐다.
핵심 포인트
- 맥에서 EXL3 모델 실행, 추론, 변환이 가능해졌다.
- 기존에는 고품질 EXL3 작업이 주로 CUDA와 고용량 RTX 그래픽카드에 묶여 있었다.
- MiniCPM5와 모델 변환이 확인됐다.
- MiniCPM5 변환 품질은 RTX 카드 결과와 비슷한 수준으로 보고됐다.
- PonyExl3 도구는 로 공개됐다.