ExLlamaV3 1.0 정식 출시, 로컬 LLM 추론 속도·호환성 대폭 개선
로컬에서 LLM을 돌리는 ExLlamaV3가 1년 넘는 개발 끝에 첫 정식(프로덕션) 버전인 1.0.0을 냈습니다. flash-attention-2와 xformers 같은 외부 의존 라이브러리를 제거해 설치와 빌드가 더 가벼워졌고, (하나의 모델을 여러 GPU에 나눠 계산하는 방식) 지원 범위를 를 포함한 대부분의 모델로 넓혔습니다. 새로운 어텐션 커널을 도입해 KV 캐시를 양자화(압축)해도 더는 속도가 느려지지 않고, 오히려 빨라지는 경우도 생겼습니다.
GEMM/GEMV라 불리는 핵심 행렬 연산 성능이 엔비디아 암페어 세대 GPU에서 크게 향상됐고, 새 INT8 연산 커널과 MoE(여러 전문가 모델을 섞어 쓰는 구조) 스케줄러도 추가됐습니다. GptOssForCausalLM, NemotronHForCausalLM 등 신규 모델 아키텍처 지원도 포함됐으며, 다수의 자잘한 버그 수정과 빌드 속도 개선도 함께 이뤄졌습니다.
핵심 포인트
- ExLlamaV3가 1년 넘는 개발 끝에 첫 정식 버전 1.0.0을 출시
- flash-attention-2·xformers 의존성 제거로 설치가 간소화됨
- KV 캐시 양자화 시 속도 저하가 사라지고 오히려 빨라질 수 있음
- 가 등 대부분 모델로 확장됨
- GptOssForCausalLM, NemotronHForCausalLM 등 신규 모델 아키텍처 지원 추가