llama.cpp에서 GPU 메모리를 더 아끼는 설정들
의 최근 실행 상태에서 일반 메모리 사용이 줄고, 메모리 누수도 보이지 않아 더 큰 모델과 긴 문맥을 GPU에 올리기 쉬워졌다. 을 외장 GPU로 쓰는 환경에서 Qwen 계열 27B 모델을 150k 문맥으로 돌릴 수 있었고, 기본 설정은 GPU 계층을 많이 올리고 일반 메모리 사용을 피하는 쪽이었다.
시각 입력을 지원하는 모델에서는 를 CPU로 넘기면 를 약 1GB 더 비울 수 있다. 대신 속도는 조금 느려질 수 있다.
키-값 캐시의 저장 방식을 더 작게 바꾸면 메모리 사용을 절반 또는 그 이상 줄일 수 있지만, 답변 품질이 떨어질 수 있다. 다만 최근 주의 회전 기능이 들어간 뒤에는 q4 수준의 캐시 압축도 눈에 띄는 품질 저하가 적었고, 절약한 메모리로 더 큰 기본 모델을 쓰는 편이 전체 품질에 더 도움이 될 수 있었다.
핵심 포인트
- 에서 최근 일반 메모리 사용과 메모리 누수 문제가 줄어든 것으로 보인다.
- 시각 입력 모델의 를 CPU로 넘기면 를 약 1GB 더 확보할 수 있다.
- 키-값 캐시를 더 작게 저장하면 메모리를 크게 줄일 수 있지만 답변 품질이 낮아질 수 있다.
- 절약한 로 문맥 길이를 늘리거나 더 큰 모델을 쓰는 전략이 가능하다.
- 운영에서는 긴 문맥과 낮은 추론 비용을 맞추는 데 도움이 되는 팁이다.