Colibrì, 느린 개인용 컴퓨터에서 GLM-5.2를 돌리는 실험
Colibrì는 라는 7440억 매개변수 규모의 거대 을 개인용 컴퓨터에서 실행하려는 1인 프로젝트다. 이 방식은 모델 전체를 메모리에 올리지 않고, 자주 쓰는 핵심 부분은 메모리에 두며 나머지 전문가는 디스크에서 필요할 때 읽어 온다. 실행 중에는 약 20GB 안팎의 메모리를 쓰고, 모델 파일은 int4 형태로 약 370GB를 차지한다.
에서는 답변 생성 속도가 매우 느려서 초당 0.05~0.1 토큰 수준이지만, 그래도 GPU 없이 CPU와 빠른 NVMe 저장장치만으로 과 대화할 수 있다. MTP 기능은 답변 후보를 미리 만들어 속도를 높이려 하지만, 처음 실행하거나 캐시가 덜 쌓인 상태에서는 오히려 디스크 읽기가 늘어 느려질 수 있다. 설치는 C 엔진을 빌드한 뒤 미리 변환된 모델을 받거나, 원본 FP8 모델을 조각별로 내려받아 int4로 변환하는 방식이다.
더 좋은 장비에서는 속도가 올라갈 수 있지만, 실제 정확도가 얼마나 유지되는지는 아직 충분히 측정되지 않았다.
핵심 포인트
- 7440억 매개변수 모델을 개인용 컴퓨터에서 실행하려는 C 기반 프로젝트다.
- 모델 전체를 메모리에 올리지 않고, 필요한 전문가를 디스크에서 읽어 메모리 부담을 줄인다.
- int4 모델 파일은 약 370GB이며, 채팅 중 은 약 20GB 수준으로 제어된다.
- 기준 속도는 초당 0.05~0.1 토큰으로 매우 느리다.
- 정확도 손실과 실제 성능은 더 빠른 장비에서 추가 측정이 필요한 상태다.