Qwen 3.6 운영 시 품질을 떨어뜨린 vLLM 오류와 해결 패치
를 vLLM과 FP8 형식으로 운영했을 때, 기반 모델보다 답변 품질이 크게 낮아지는 문제가 확인됐다. 요청이 동시에 많이 들어오는 환경에서는 품질 평가 점수가 절대값 기준으로 약 20%포인트 떨어졌다. 원인은 또는 35B에서 과 추측 디코딩을 함께 사용할 때 결과가 손상되는 vLLM 오류였다.
vLLM의 깃허브 변경안 48375에 포함된 패치를 적용하자 품질 저하 문제가 해결됐다. 문제를 겪은 구성은 Qwen/-FP8이었으며, 다른 압축 모델 구성과 비교하는 과정에서 차이가 드러났다.
핵심 포인트
- 와 35B에서 과 추측 디코딩을 함께 쓰면 결과가 손상될 수 있다.
- 동시 요청이 많은 환경에서 품질 평가 점수가 약 20%포인트 낮아졌다.
- vLLM 깃허브 변경안 48375의 패치로 확인된 품질 저하가 해결됐다.
- 배포 전에는 실제 동시 요청 조건으로 답변 품질을 비교해야 한다.