신형 Qwen3.5 모델 벤치마크 시 표준 평가 도구가 조용히 깨지는 사례들
Qwen3.5-9B 기반 파인튜닝 모델인 Qwythos-9B를 GGUF 포맷(Q4_K_M, Q8_0)으로 변환해 서버 위에서 lm_eval 도구로 GSM8K, IFEval, 벤치마크를 돌리는 과정에서 여러 문제가 발견됐다. 첫째, Qwen3.5 계열 모델은 추론() 내용을 응답 본문과 별도 필드로 분리해서 반환하는데, 를 ---preserve 옵션 없이 실행하면 벤치마크 도구가 빈 응답으로 인식해 점수가 50~80%나 떨어진다.
오류 메시지 없이 그럴듯해 보이는 나쁜 점수만 나오기 때문에 발견하기 어렵다. 둘째, IFEval 벤치마크는 langdetect, immutabledict 같은 숨겨진 의존성 패키지가 필요한데 이게 어디에도 명시돼 있지 않아, 몇 시간 걸리는 실행 도중 ModuleNotFoundError로 중단된다.
셋째, 의 기본 lm_eval 태스크는 채팅 API가 아니라 local-completions 백엔드를 전제로 만들어져 있어, 채팅 API를 호출한 뒤 생각() 블록을 제거하고 코드만 추출해 code_eval 지표로 채점하는 커스텀 스코어러를 직접 만들어야 했다. HellaSwag, ARC 같은 기반 태스크는 세 가지 방법을 다 시도해도 막다른 길이었다.
핵심 포인트
- Qwen3.5 계열은 추론 내용을 별도 필드로 반환 → ---preserve 옵션 없이 를 켜면 점수가 50~80% 폭락
- IFEval은 langdetect, immutabledict 등 문서화 안 된 의존성 필요, 실행 도중 갑자기 실패할 수 있음
- 기본 태스크는 채팅 API를 지원하지 않아 커스텀 스코어러 직접 제작 필요
- HellaSwag, ARC 같은 로그우도 기반 태스크는 여러 방법으로도 제대로 작동하지 않음
- GGUF 포맷(Q4_K_M, Q8_0)으로 양자화한 모델을 + lm_eval 조합으로 테스트한 사례