RX 7900 XTX에서 Qwen 27B 로컬 실행이 느린 사례
RX 7900 XTX 그래픽카드로 모델을 로컬에서 돌린 실제 테스트에서 기대보다 낮은 속도가 나왔다. Ubuntu 24.04.4, 리눅스 커널 6.8, , ROCm 7.2.4, AMD 드라이버 6.16.13, Vulkan 환경이 쓰였다. 원시 성능 측정에서는 ROCm이 초당 235.73 토큰, 생성 초당 31.14 토큰을 냈고, Vulkan은 초당 634.80 토큰으로 더 빨랐지만 생성은 초당 13.32 토큰으로 더 느렸다.
실제 API 테스트에서는 32,201개 프롬프트 토큰과 128개 생성 토큰을 넣었을 때 일반 27B 모델이 초당 평균 238.42 토큰, 생성 초당 평균 26.84 토큰, 전체 평균 139.8초를 기록했다. MTP n=3 설정은 초당 평균 226.09 토큰, 생성 초당 평균 17.14 토큰, 전체 평균 149.9초로 더 느렸고, 초안 수락률은 78.76%였다. vLLM도 같은 하드웨어에서는 실용적인 해법이 되지 못했다.
설정에는 65,565 , 그래픽카드 레이어 99개, 플래시 어텐션, 연속 배치 처리, MTP 초안 추론이 포함됐다.
핵심 포인트
- RX 7900 XTX에서 를 로컬 실행한 결과가 기대보다 느렸다.
- ROCm은 생성 속도가 Vulkan보다 빨랐지만, 속도는 Vulkan이 더 빨랐다.
- 실제 API 테스트에서 일반 27B 모델은 전체 평균 139.8초가 걸렸다.
- MTP n=3 설정은 초안 수락률 78.76%에도 전체 시간이 149.9초로 더 길었다.
- 구축에서는 최적화 기능 이름보다 실제 토큰 처리 속도 측정이 더 중요하다.