오픈소스중요도: 높음

Qwen 27B 실행 속도 2배, 메모리 사용도 감소

r/LocalLLaMA2026년 6월 15일 · 27일 전

Q4_K_M 모델을 한 장에서 실행한 결과, 25만6000 토큰 컨텍스트를 처리하면서 초당 38.6토큰을 생성했다. KV 캐시가 실제로 머무는 메모리는 72MiB로 줄었고, 전체 사용량은 약 21GB에서 17.5GB로 낮아졌다. 같은 장비에서 생성 속도는 약 2배 빨라졌다고 보고됐다.

긴 문맥 안에서 특정 정보를 찾아내는 테스트는 6%만 메모리에 남긴 상태에서도 88~100% 회수율을 보였다. , GSM, MATH, 에이전트 테스트 묶음에서는 전체 KV 캐시를 쓴 경우와 같은 36/36 정답 결과가 나왔다. 다만 긴 생성에서는 내부 계산 방식 차이 때문에 출력 문장이 완전히 똑같지는 않을 수 있지만, 측정된 정답 여부는 같았다.

관련 최적화 코드는 GitHub의 Lucebox Hub에 공개되어 있다.

핵심 포인트

  • Q4_K_M이 한 장에서 25만6000 토큰 컨텍스트를 처리했다.
  • 생성 속도는 초당 38.6토큰이며, 같은 장비에서 약 2배 빨라졌다고 보고됐다.
  • 사용량은 약 21GB에서 17.5GB로 줄었다.
  • KV 캐시 상주 메모리는 72MiB로 낮아졌고, 긴 문맥 검색 테스트는 88~100% 회수율을 보였다.
  • , GSM, MATH, 에이전트 테스트에서 전체 KV 캐시와 같은 36/36 결과가 나왔다.

이 사건을 다룬 원문 (5)

원문 보기 ↗