GLM-fable 연내 가능성, 로컬 AI 비용 논의로 이어짐
GLM 창업자가 올해 말 전에 이 나올 수 있다는 취지의 신호가 나오며, 을 직접 돌릴 때 필요한 비용과 장비가 핵심 쟁점이 됐다. 댓글 논의에서는 이 Anthropic의 고성능 모델인 Opus급을 따라잡거나 넘어설 수 있는지에 의견이 갈렸다. 비용 관점에서는 모델이 공개되더라도 개인이 빠르게 쓰기 어렵다는 지적이 많았다.
한 계산은 모델 규모를 7530억 개 매개변수로 보고, 최대 정확도로 돌리려면 약 1.5TB 메모리가 필요하며, Q4 압축은 약 465GB, Q8 압축은 약 800GB가 필요하다고 봤다. 에 쓸 만한 속도를 내려면 초당 약 50토큰 수준이 필요하다는 기준도 나왔다. 가능한 장비 예시로는 72GB 그래픽카드 8장을 쓰는 약 7만2000달러급 구성, 512GB 메모리의 차세대 급 구성, 대용량 와 GPU를 섞는 구성이 언급됐다.
결론은 모델 성능보다 실제 추론 비용, 메모리 용량, 속도가 개인용 활용의 병목이라는 점이다.
핵심 포인트
- 이 올해 말 전에 나올 수 있다는 기대가 커졌다.
- 논의의 핵심은 모델 성능보다 개인이 감당할 수 있는 장비와 추론 비용이다.
- 한 추정은 최대 정확도 실행에 약 1.5TB 메모리가 필요하다고 봤다.
- 에는 단순 실행보다 초당 토큰 속도와 긴 문맥 처리 능력이 중요하다.
- 이어도 실제 비용 절감은 메모리, 압축, 하드웨어 가격에 달려 있다.