27B 3진법 양자화 모델, 일반 PC에서 26만 토큰 문맥 로컬 구동
Bonsai-27b는 모델을 기반으로 만든 모델로, 가중치를 1.58비트 수준으로 극단적으로 압축했다. 이 압축 방식 덕분에 27B(270억 개 파라미터) 규모의 모델을 일반 소비자용 PC에서도 로 직접 돌릴 수 있다.
이 모델은 여러 단계를 거치는 추론(멀티스텝 리즈닝)과 의 작업 흐름을 지원하며, 최대 26만 2천 토큰이라는 매우 긴 문맥 창을 제공한다. 모델 파일과 설정은 허깅페이스 저장소에서 직접 내려받을 수 있다.
핵심 포인트
- 를 기반으로 3진법() 1.58비트로 압축한 모델
- 일반 소비자용 PC 하드웨어에서 로 로컬 실행 가능
- 멀티스텝 추론과 지원
- 최대 26만 2천 토큰의 긴 문맥 창 제공
- 모델과 설정 파일은 허깅페이스에서 직접 다운로드