7900 XTX에서 llama.cpp Vulkan으로 긴 문맥 모델을 더 가볍게 실행
AMD Radeon RX 7900 XTX와 Ubuntu 환경에서 의 Vulkan 빌드로 IQ4_XS 모델을 실행하는 설정이다. 목표 문맥 길이는 262k로 매우 길고, 은 약 22GiB 수준이다.
같은 환경에서 최적화한 ROCm 7.14 구성보다 토큰 생성과 문맥 압축이 약 두 배 빠르며, 도 더 낮다고 한다. 실행 스크립트는 경로, 모델 파일 경로, Vulkan 장치 번호, 서버 주소와 포트, 문맥 크기, 캐시 형식, 캐시 메모리, GPU 레이어 수, 스레드 수, 배치 크기를 환경변수로 바꿀 수 있게 만든다.
기본값은 로컬 접속용 127.0.0.1:8081, 문맥 262144, 캐시 형식 q4_0, 캐시 메모리 16384MB, GPU 레이어 99, 스레드 20, 배치 크기 512다. 실행하려면 Vulkan을 켠 빌드, 정상 동작하는 Vulkan 드라이버, 파일이 필요하다.
핵심 포인트
- AMD Radeon RX 7900 XTX와 Ubuntu에서 Vulkan 서버를 쓰는 설정이다.
- IQ4_XS 모델을 약 22GiB 메모리로 실행한다고 한다.
- 문맥 길이는 262k로 설정되어 긴 에 맞춰져 있다.
- ROCm 7.14 최적화 구성보다 토큰 생성과 문맥 압축이 약 두 배 빠르다고 한다.
- 서버 경로, 모델 경로, 포트, 캐시, 스레드, 배치 크기를 환경변수로 조정할 수 있다.