Ornith 35B 로컬 코딩 모델을 MTP로 18% 빠르게 실행
는 작업에 쓰이는 이다. 이 모델을 형식으로 vLLM에서 실행하면서 MTP를 붙인 버전이 공개됐다. 기존에는 MTP 초안 작성 기능을 바로 쓸 수 있는 모델이 없어, 별도로 붙여 만든 형태다.
MTP를 쓰지 않을 때보다 실행 속도가 18% 빨라졌고, 초안이 실제로 받아들여지는 비율은 평균 70%였다. 256k 길이의 전체 문맥 창을 쓰려면 RTX 기반 장비에서 VRAM이 80GB를 넘는 환경이 필요하다. 통합 에서도 쓸 가능성이 있으며, 그 경우 제공된 스크립트로 MTP 모델을 대상 NVFP4 모델에 붙이는 방식이 제안됐다.
함께 공개된 에는 모델 가공 스크립트와 vLLM용 고성능 추론 컨테이너가 포함돼 있다.
핵심 포인트
- 에 MTP를 붙인 로컬 실행용 모델 구성이 공개됐다.
- MTP 사용 시 실행 속도가 기존보다 18% 빨라졌다.
- 초안 수락률은 평균 70%로 제시됐다.
- 전체 256k 문맥 창을 쓰려면 RTX 기반 80GB 초과 VRAM 환경이 필요하다.
- GitHub에 가공 스크립트와 vLLM 추론 컨테이너가 공개됐다.