AMD GPU용 llama.cpp 빌드에서 프롬프트 처리 속도 개선
의 HIP 빌드에 를 켜는 변경이 제안됐습니다. gfx1151 계열 AMD 그래픽칩인 RDNA3.5/, 40개 연산 유닛 환경에서 최신 기본 코드와 비교했습니다.
큰 모델인 Qwen3.5-27B Q4_K_M은 프롬프트 길이에 따라 초당 처리 토큰이 약 4.0%에서 7.0% 늘었습니다. 작은 모델인 Qwen3-0.6B BF16은 짧은 프롬프트에서 약 3%대 개선이 있었고, 32,768 토큰처럼 긴 프롬프트에서는 0.6%로 차이가 작았습니다.
FA=0에서는 두 빌드의 결과가 거의 같았습니다. 즉 이 변화는 특정 와 FA=1 경로에서 프롬프트를 읽어들이는 속도를 조금 높이는 성격입니다.
핵심 포인트
- 의 HIP 빌드에서 를 켜는 변경입니다.
- Qwen3.5-27B Q4_K_M은 속도가 약 4.0%에서 7.0% 빨라졌습니다.
- Qwen3-0.6B BF16은 짧은 프롬프트에서 약 3%대, 매우 긴 프롬프트에서 0.6% 개선이었습니다.
- FA=0에서는 기존 빌드와 거의 차이가 없었습니다.
- 자체 로 을 돌리는 경우에만 실질적인 영향이 있습니다.