맥 스튜디오에서 Qwen3.5 응답 지연을 없앤 캐시 오류 3가지
96GB 메모리의 에서 Qwen3.5-122B로 긴 문맥을 다루는 를 실행하자, 후속 답변이 시작되기까지 3~5분이 걸렸다. 원인은 모델이 아니라 qMLX 실행 환경의 오류 세 가지였다. 첫째, 에 매번 다른 메시지 식별자가 들어가 가 일치하지 않았고, 이전 내용을 매번 다시 계산했다.
둘째, 답변 생성을 중단하면 이미 전송된 내용이 대화 기록에 저장되지 않아 실제 대화와 저장 기록이 달라졌다. 셋째, 백그라운드 저장 기능이 다시 사용할 수 없는 를 계속 만들어 정상 를 밀어냈다. 이를 고친 뒤 프리필 시간이 몇 분에서 1초 미만으로 줄었으며, 5만3천 토큰이 캐시에 있을 때 새로 처리한 토큰은 33개뿐이었다.
수정판과 성능 측정 스크립트 bench_qmlx.py는 오픈소스로 공개됐다. 수정 내용이 Qwen의 혼합 어텐션 구조에 맞춰져 있어 기존 프로젝트에 합치지 않고 별도 포크로 운영하며, 앞으로도 Qwen 전용 최적화를 이어갈 계획이다.
핵심 포인트
- 매 요청마다 달라지는 메시지 식별자를 에 넣지 않는다.
- 중단된 스트리밍 답변도 실제로 전달된 부분까지 대화 기록에 저장한다.
- 재사용할 수 없는 가 정상 캐시를 밀어내는지 확인한다.
- 수정 후 5만3천 토큰의 캐시를 재사용하고 새로 프리필한 양은 33토큰이었다.
- Qwen 전용 qMLX 포크와 bench_qmlx.py 성능 측정 스크립트가 공개됐다.