Gemma 12B 양자화 모델이 예상보다 느리게 도는 사례
Q8 모델로 바꾼 뒤 생성 속도가 초당 약 70토큰에서 10토큰으로 크게 떨어졌다. 같은 환경에서 GPT-OSS 20B Q4를 쓸 때보다 작은 모델인데도 훨씬 느려진 것이다.
Q8 대신 Q5 모델을 써도 속도 차이는 거의 없었다. 생각 기능을 끄는 설정을 넣었지만 초당 약 2토큰 정도만 빨라졌다.
서버는 의 로 실행되고, 16개 스레드, 문맥 크기 8192, 그래픽카드 레이어 99개, 배치 크기 4096 설정을 사용한다. 는 전체 20GB 중 약 10GB만 쓰고 있어, 단순히 메모리가 꽉 차서 느린 상황은 아닌 것으로 보인다.
핵심 포인트
- Q8로 바꾼 뒤 생성 속도가 초당 약 70토큰에서 10토큰으로 떨어졌다.
- Q5 모델로 낮춰도 체감 속도 개선은 거의 없었다.
- 생각 기능을 꺼도 초당 약 2토큰 정도만 빨라졌다.
- 는 20GB 중 약 10GB만 사용해 메모리 부족이 직접 원인은 아닌 듯하다.
- 에이전트 운영에서는 모델 교체 전 실제 를 재는 것이 중요하다.