llama.cpp의 SYCL 실행 속도 비교
빌드 dd4623a74(9640)에서 여러 계열 모델을 SYCL 백엔드로 돌린 속도 측정값이다. Q8_0은 크기 4.69GiB, 46.5억 매개변수이며 pp512에서 초당 5662.45토큰, tg128에서 초당 109.14토큰을 기록했다. 12B Q8_0은 크기 11.78GiB, 119.1억 매개변수이며 pp512에서 초당 1578.19토큰, tg128에서 초당 32.43토큰을 기록했다.
26B.A4B Q8_0은 크기 25.00GiB, 252.3억 매개변수이며 pp512에서 초당 1332.35토큰, tg128에서 초당 40.13토큰을 기록했다. qwen35moe 35B.A3B Q8_0 항목도 포함되어 있으며 크기는 34.36GiB, 346.6억 매개변수로 표시되지만, 제공된 내용에서는 최종 속도 값이 잘려 있다.
핵심 포인트
- Q8_0은 tg128 기준 초당 109.14토큰으로 가장 빠른 생성 속도를 보였다.
- 12B Q8_0은 tg128 기준 초당 32.43토큰을 기록했다.
- 26B.A4B Q8_0은 tg128 기준 초당 40.13토큰을 기록했다.
- 작은 모델은 속도가 빠르고 도 낮아 실험에 유리할 수 있다.
- 속도 측정만으로 모델의 답변 품질이나 에이전트 성능은 판단할 수 없다.