1비트대 초경량 AI 모델 'Bonsai 8B'를 직접 파인튜닝해본 후기
ML이 공개한 Bonsai 시리즈는 가중치 하나하나를 -1, 0, +1 세 값() 또는 -1, +1 두 값(binary)만으로 표현하는 초경량 이다. 방식은 가중치당 약 1.7비트, binary 방식은 약 1.1비트만 사용하는데, 이는 흔히 '2비트'라고 부르는 기존 GGUF 압축 모델(실제로는 평균 2.8비트에 가까움)보다 훨씬 가볍다.
처음부터 로 새로 학습시키는 방식과 달리, Bonsai는 이미 학습된 기존 모델()을 사후에 초경량 형태로 변환하는 독자적인 방법을 쓴다. 최신 플래그십은 27B(270억 파라미터) 모델이며, 글쓴이가 직접 써본 것은 그보다 작은 8B(80억 파라미터) 버전인 -Bonsai-8B다.
이 초경량 모델은 8B 크기임에도 메모리를 약 2GB만 차지해 매우 가볍지만, 포맷이 새로워 실행하려면 별도의 지원이 필요하다. 다만 ML 측도 1.7B~8B급 초기 버전은 복잡한 추론이나 안정성을 목표로 만들지 않았다고 밝혔다.
핵심 포인트
- Bonsai는 가중치를 -1/0/+1(, 약 1.7비트) 또는 -1/+1(binary, 약 1.1비트)로만 표현하는 초경량 모델
- 기존 '2비트' GGUF 압축 모델은 실제로는 평균 약 2.8비트라 Bonsai가 더 가벼움
- 처음부터 새로 학습하는 과 달리 기존 모델을 사후 변환하는 방식
- 8B 모델이 약 2GB 메모리만 사용하지만 새 포맷이라 실행 지원이 필요
- 1.7B~8B 초기 버전은 복잡한 추론· 신뢰성은 목표로 하지 않았음