GLM-5.2, 100만 토큰 문맥과 공개 가중치로 비용 실험 확대
가 GLM Coding Plan에 배포됐고, API와 가중치는 약 일주일 뒤 제공될 예정으로 안내됐다. 이 모델은 한 번에 최대 100만 토큰까지 긴 문맥을 다룰 수 있고, 생각 모드는 max와 high 두 가지를 지원한다. z.ai는 코딩 작업에는 max 모드를 권장한다.
함께 나온 반응은 성능, 비용, 직접 운영 가능성에 집중됐다. 일부 벤치마크에서는 가 지식 업무형 에이전트 평가에서 강한 결과를 냈고, 로컬 실행 사례에서는 744B급 2비트 모델을 여러 GPU와 큰 메모리로 돌리며 초당 약 7.3토큰을 얻었다. 더 낮은 양자화가 항상 더 빠르지는 않았고, CPU 스레드 수를 늘렸을 때 속도가 22% 오른 사례도 있었다.
CPU만으로 실행한 실험과 배포 설정도 공유되면서, 에만 의존하지 않고 큰 모델을 직접 운영하려는 흐름이 확인됐다.
핵심 포인트
- 는 GLM Coding Plan에 배포됐고 API와 가중치 제공이 예고됐다.
- 최대 100만 토큰 문맥을 지원해 긴 코드, 문서, 작업 기록을 한 번에 넣는 에이전트 실험에 맞다.
- 코딩에는 max 생각 모드가 권장됐다.
- 로컬 실행 사례에서는 744B급 2비트 모델이 4개 과 큰 메모리 조합에서 초당 약 7.3토큰을 냈다.
- 더 낮은 양자화가 반드시 더 빠른 것은 아니며, CPU 설정이 속도에 큰 영향을 줄 수 있다.
이 사건을 다룬 원문 (20)
- r/LocalLLaMAGLM-5.2, 100만 토큰 문맥과 공개 가중치로 비용 실험 확대 ↗
- r/LocalLLaMAGLM-5.2 is above GPT-5.5 in AA-Briefcase, Artificial Analysis' new agentic knowledge work eval ↗
- r/LocalLLaMAGLM-5.2 (744B, 2-bit) at 7.3 tok/s on 4×3090 + 192GB — and why IQ1_M wasn't any faster ↗
- r/LocalLLaMAGiving GLM-5.2 a spin locally on CPU only! (poor man's rig for big models) ↗
- r/LocalLLaMAGLM-5.2 inference is free on Hugging Face for the next 6 hours ↗
- r/LocalLLaMAunsloth GLM-5.2-GGUF , including 2bit at 238GB ↗
- r/LocalLLaMAGLM 5.2 Release Video [Made with GLM 5.2] ↗
- r/LocalLLaMAPSA: unsloth/GLM-5.2-GGUF is uploading ↗
- r/LocalLLaMA