ARM CPU에서 NVFP4 모델 실행 속도를 약 5배 높이는 변경
의 새 변경은 에서 NVFP4 형식 모델을 더 빠르게 계산하게 만든다. 핵심은 UE4M3 값을 매번 복잡하게 풀어 계산하지 않고, 미리 준비된 표인 조회표로 빠르게 바꾸는 방식이다.
이 방식은 이미 x86 쪽에 들어간 최적화를 ARM 구현에도 맞춘 것이다. Qwen3.5 4B NVFP4 모델을 CPU 4개 스레드로 시험했을 때, 같은 512 토큰 입력 처리 속도가 초당 1.89 토큰에서 초당 9.97 토큰으로 올랐다.
이는 약 5.3배 빠른 결과다. 기존 공용 조회표를 재사용하므로 ARM과 x86 구현 방식도 더 비슷해진다.
핵심 포인트
- 의 용 NVFP4 계산 경로가 최적화된다.
- UE4M3 값을 빠르게 바꾸기 위해 기존 조회표를 재사용한다.
- Qwen3.5 4B NVFP4 모델 시험에서 초당 1.89 토큰이 초당 9.97 토큰으로 올랐다.
- 같은 조건 기준으로 약 5.3배 빠른 입력 처리 결과다.
- 운영에서 과 을 낮출 가능성이 있다.