24GB 그래픽카드용 llama-server 설정 공유 기준
24GB 를 갖춘 , Radeon RX 7900 XTX, 에서 잘 작동한 실행 설정을 모으려는 제안이다. 설정은 를 가능한 한 많이 활용하면서 최소 20만 토큰 분량의 KV 캐시를 제공해야 한다.
실행 명령과 함께 일반 시스템 메모리 용량도 밝혀야 한다. 시스템 메모리 크기에 따라 캐시의 속도와 실제 사용 가능성이 달라질 수 있기 때문이다.
운영체제와 정보도 함께 적는 것이 권장된다. 이들 환경 역시 가 쓸 수 있는 시스템 메모리와 에 영향을 줄 수 있다.
핵심 포인트
- 대상 그래픽카드는 24GB 를 갖춘 , Radeon RX 7900 XTX, 이다.
- 공유할 설정은 를 최대한 활용해야 한다.
- 최소 20만 토큰을 담는 KV 캐시를 제공해야 한다.
- 실행 명령과 함께 시스템 메모리 용량을 적어야 한다.
- 운영체제와 정보도 함께 기록하는 것이 좋다.