거대 오픈웨이트 모델, 공개돼도 개인은 못 돌린다는 불만
레딧 에 올라온 글은 GLM-5.2 같은 최근 초대형 '오픈웨이트' 모델 공개에 피로감을 느낀다는 내용이다. GLM-5.2는 파라미터 7530억 개, 컨텍스트 100만 토큰, 로 벤치마크 성적이 매우 뛰어나다.
하지만 700억 개를 훌쩍 넘는 구조 모델은 가정용 컴퓨터에 올릴 수 없다는 게 문제다. 글쓴이는 듀얼 GPU에 x8/x8 브리퍼케이션 보드를 갖추고 AMD ROCm으로 최적화까지 했지만, q1이나 q2 수준으로 양자화해도 여전히 로드 자체가 불가능하다고 설명한다.
예전에는 이 커뮤니티가 의 배치 크기 조정이나 양자화 테스트처럼 실제로 자기 하드웨어에 모델을 맞춰 넣는 자가 호스팅 이야기가 중심이었는데, 요즘은 대부분의 사람이 API 결제나 클라우드 임대로만 쓸 수 있는 모델의 홍보성 글이 절반을 차지한다는 것이다. 가중치가 실제로 공개된 점은 인정하지만, 일반 사용자 입장에서는 사실상 폐쇄형 모델과 다를 바 없다고 지적한다.
핵심 포인트
- GLM-5.2는 파라미터 7530억 개, 컨텍스트 100만 토큰, 로 공개됨
- 700B 이상 MoE 모델은 가정용 하드웨어에 올릴 수 없음
- q1/q2 수준 양자화로도 로드 자체가 불가능하다고 언급됨
- 가중치는 공개돼도 실질적으로는 API 결제나 클라우드 임대로만 사용 가능
- 커뮤니티 분위기가 자가 호스팅 팁 공유에서 대형 모델 홍보 위주로 바뀌었다는 불만