80~160B급 오픈 모델 수요: 느린 대용량 메모리 장비의 빈틈
최근 공개된 주요 오픈 모델은 두 방향으로 갈라져 있다. 하나는 27B Qwen, 31B Gemma처럼 빠르지만 용량이 작은 장비에 맞춘 중간급 모델이고, 다른 하나는 GLM 5.2, , , Mimo 2.5 Pro, 처럼 매우 큰 모델이다.
96GB 이상 메모리를 가진 Apple 기기, Ryzen AI 395 장비, , , 4개 , 128GB DDR4/DDR5 메모리 같은 구성은 메모리 용량은 충분하지만 속도가 느린 경우가 많다. 이런 장비 사용자는 최신 성능을 기대하기에는 오래된 80~120B급 모델을 쓰거나, 메모리 대역폭 때문에 26~35B급 작은 모델로 내려가야 한다.
필요한 모델 범위는 약 80~160B이며, 특히 100B 안팎이면서 실제로는 10B 정도만 활성화되는 희소 모델이 적합하다는 주장이다. 이런 모델은 AMD 9700 AI Pro, /5090과 64GB 비디오 메모리, , AI395 이상 장비, Apple 통합 메모리 기기에서 돌릴 수 있는 현실적인 선택지가 될 수 있다.
핵심 포인트
- 80~160B급 최신 오픈 모델이 부족하다는 수요가 제기됐다.
- 96GB 이상 통합 메모리나 128GB 시스템 메모리를 가진 장비가 주요 대상이다.
- 최근 모델은 작은 고속 장비용 모델과 초대형 모델로 양극화되어 있다는 지적이다.
- 원하는 형태는 약 100B 규모이면서 일부만 활성화되는 희소 모델이다.
- 를 돌릴 때 클라우드 추론 비용을 줄일 가능성과 연결된다.