Mellum 2의 빠른 생성 기능이 GGUF 파일에는 보이지 않는다
JetBrains는 의 응답 지연 시간이 -Coder 7B만큼 낮으며, 이를 으로 구현했다고 밝혔다. 하지만 공개된 파일에서는 MTP를 담당하는 별도 계층을 찾기 어렵다.
원본 파일에는 관련 가중치가 있을 수 있지만, 이를 직접 추출해 GGUF에서 사용하는 방법은 확인되지 않았다. 따라서 현재 공개된 GGUF가 JetBrains가 소개한 속도 향상 기능을 실제로 포함하는지는 불분명하다.
핵심 포인트
- JetBrains는 가 으로 낮은 지연 시간을 낸다고 밝혔다.
- 공개된 GGUF 파일에서는 MTP 전용 계층이 뚜렷하게 보이지 않는다.
- 원본 에서 MTP 가중치를 추출하는 방법은 아직 확인되지 않았다.
- GGUF와 원본 모델의 실제 속도를 직접 비교해야 기능 포함 여부를 판단할 수 있다.