MiniMax M3를 llama.cpp에서 더 빠르게 돌리는 보조 모델 공개
의 를 GGUF 형식으로 변환한 모델이 공개되어 에서 실행할 수 있게 됐다. 이 모델은 본 모델이 다음 토큰을 만들기 전에 작은 보조 모델이 후보를 먼저 제안해 속도를 높이는 방식이다. 저장소에는 에 필요한 변경 사항을 합치는 방법과 실행 방법이 안내되어 있다.
2개의 그래픽카드와 128GB 환경에서 UD-Q2_K_XL 양자화 모델을 테스트한 결과, 생성 속도가 초당 2.3토큰에서 5토큰으로 올랐다. 속도 향상에는 --fit 옵션 사용과 보조 모델을 일반 메모리가 아니라 에 올린 점이 영향을 준 것으로 보인다.
핵심 포인트
- 용 EAGLE 보조 모델이 GGUF 형식으로 변환됐다.
- 와 함께 실행할 수 있도록 저장소에 안내가 제공된다.
- 테스트 환경은 2개와 128GB 였다.
- UD-Q2_K_XL 양자화 설정에서 속도가 초당 2.3토큰에서 5토큰으로 올랐다.
- 보조 모델을 에 올리고 --fit 옵션을 쓴 것이 속도 향상에 중요했다.