KV 캐시 압축은 모델마다 비용 절감 효과가 크게 다르다
와 -E2B QAT에서 양자화가 모델 성능에 주는 영향을 비교했다. q8/q8 설정은 두 모델 모두에서 손실이 거의 없어, 캐시를 줄이면서도 품질 저하가 작았다. q4/q4는 Qwen에서는 쓸 수 있는 수준이었지만 Gemma에서는 성능 손상이 매우 컸다.
turbo4는 q4_0보다 조금 나을 때도 있고 나쁠 때도 있어 안정적인 우위가 아니었다. turbo3와 turbo2는 캐시를 매우 크게 줄일 수 있지만, 그만큼 품질 손실을 크게 감수해야 했다. K와 V 중 어느 쪽이 더 민감한지는 모델과 설정에 따라 달랐고, 어떤 경우에는 둘의 영향이 비슷했다.
재현용 코드와 확대 가능한 그래프가 함께 공개되어 다른 모델에도 같은 방식의 검사를 적용할 수 있다.
핵심 포인트
- q8/q8은 두 모델에서 거의 손실 없이 를 줄였다.
- q4/q4는 Qwen에서는 쓸 수 있었지만 Gemma에서는 품질 손상이 컸다.
- turbo4는 q4_0보다 항상 좋지는 않았다.
- turbo3와 turbo2는 캐시를 많이 줄이지만 품질 비용이 크다.
- K와 V의 민감도는 모델과 설정마다 달랐다.