MoE 전문가 미리 예측해 CPU-GPU 오프로딩 3~6배 가속 실험
(MXFP4 GGUF) 모델을 3060 12GB에서 돌리면서, 일부 전문가(expert) 레이어를 램에 두고 필요할 때 PCIe로 불러오는 방식(CPU-GPU 오프로딩)을 실험했다. 이 방식의 문제는 GPU가 다음 전문가 데이터를 기다리며 놀고, PCIe 대역폭이 실제 병목이 된다는 점이다. 해결 아이디어는 모델에 내장된 MTP() 헤드를 활용하는 것이다.
이 헤드는 원래 추측 디코딩()에서 다음 토큰을 미리 초안(draft)으로 만드는 데 쓰이는데, 이 초안 토큰이 어떤 전문가로 라우팅될지 미리 확인해서 해당 전문가 데이터를 별도 CUDA 스트림으로 백그라운드에서 미리 가져오는(prefetch) 방식이다. 즉 매 토큰마다 PCIe 지연을 그대로 겪는 대신, 연산이 진행되는 동안 지연을 숨기는 구조다. 실제로 만들기 전에 를 계측해서 이 방법이 효과가 있을지 먼저 확인했으며, 이 수치 분석에는 Fable 5와 을 활용했다.
초당 토큰 생성 속도를 기존 30tg/s에서 150~200tg/s까지 끌어올릴 수 있다는 결과를 얻었다고 밝혔다.
핵심 포인트
- (MXFP4 GGUF)를 12GB에서 CPU-GPU 오프로딩으로 실행
- 기존 병목은 PCIe 대역폭 — GPU가 전문가 데이터를 기다리며 대기
- MTP() 헤드로 다음 토큰 라우팅을 미리 예측해 해당 전문가를 백그라운드에서 프리페치
- 에서 실제 계측 후 아이디어 타당성 확인
- 이론상 30tg/s에서 150~200tg/s까지 속도 향상 가능하다고 주장