스베르방크, 4320억 파라미터 MoE 모델 GigaChat3.5 공개, GGUF도 동시 지원
러시아 스베르방크가 GigaChat3.5-432B-A28B라는 새로운 을 공개했다. 전체 파라미터는 4320억 개이지만, 실제로 답변 생성 시 활성화되는 파라미터는 280억 개뿐인 '(MoE)' 구조를 사용한다. 사전학습만 마친 베이스 버전도 함께 공개됐다.
특히 공개와 동시에 GGUF라는 경량화 포맷 버전도 나왔는데, 이는 라는 프로그램으로 개인 컴퓨터에서 모델을 돌릴 수 있게 해주는 형식이다. 다만 이 GGUF 지원은 아직 정식 버전(master 브랜치)에는 병합되지 않았고, 별도의 코드 (PR)을 빌드해야 사용할 수 있다.
핵심 포인트
- 스베르방크가 GigaChat3.5-432B-A28B 공개, MoE 구조로 전체 4320억 파라미터 중 280억만 활성화
- 사전학습만 된 베이스 모델도 함께 공개
- 공개 당일 GGUF 경량화 포맷 지원(용)
- GGUF 지원 코드는 아직 정식판에 병합 전, PR 빌드 필요