최신 대형 오픈 모델 3종은 맥미니 서버용이 아니다
, GLM-5.1, Ultra는 코딩 보조와 추론 작업을 겨냥한 최신 이다. 성능 점수 차이는 크지 않아서, 실제 선택 기준은 점수보다 직접 돌릴 수 있는 장비, 라이선스, 에이전트 연결 방식이다. 세 모델 모두 서버급 장비가 필요하다.
현실적으로 8개 H100 또는 8개 H200 가 있는 장비, 또는 4~8개 B200 가 필요하며, 시간 단위로 빌려 쓰는 방식도 고려해야 한다. 단일 , 노트북, 집 안의 작은 서버 환경에는 맞지 않는다. 는 총 4270억 매개변수 중 260억 매개변수를 활성화하는 MoE 모델이고, 100만 토큰 문맥을 지원하며, Community License를 쓴다.
GLM-5.1은 총 7540억 매개변수의 MoE 모델이고, 약 20만 토큰 문맥을 지원하며, 를 쓴다. 직접 운영은 , 대량 처리, 미세조정이 필요할 때 의미가 있고, 단순히 API 비용을 조금 아끼려는 목적에는 맞지 않는다.
핵심 포인트
- , GLM-5.1, Ultra는 모두 서버급 장비를 전제로 한다.
- 단일 , 노트북, 집 안의 작은 서버에는 맞지 않는다.
- 는 100만 토큰 문맥을 지원하고, GLM-5.1은 약 20만 토큰 문맥을 지원한다.
- 직접 운영의 장점은 , 대량 처리, 미세조정에 있다.
- API 비용을 조금 줄이려는 목적이라면 직접 운영보다 가 더 현실적이다.