Bonsai-27B 극압축 모델, llama.cpp 지원 현황 업데이트

Bonsai-27B와 Ternary-Bonsai-27B는 AI 모델을 극단적으로 압축(양자화)해서 더 적은 메모리와 비용으로 실행할 수 있게 만든 버전이다. 압축된 모델 파일은 GGUF라는 형식으로 배포된다.

1비트(바이너리) 압축 방식은 이미 llama.cpp 정식 코드에 병합되어 CPU, Metal, CUDA, Vulkan 등 대부분의 하드웨어에서 바로 사용 가능하다. 다만 애플 실리콘용 MLX 프레임워크 지원은 아직 llama.cpp 공식 저장소에 병합되지 않아, 병합 전까지는 개발자가 만든 별도 브랜치를 써야 한다.

1비트보다 더 압축된 삼진(ternary) 방식은 아직 llama.cpp 본체로 통합되는 중이라 일부는 공식 코드, 일부는 별도 포크 코드가 섞여 있다. 이 때문에 파일 형식이 두 가지로 나뉘는데, 그룹 크기 128을 쓰는 파일은 지금 이 데모(포크 버전)에서만 작동하고 나중에 통합이 끝나면 사라질 예정이며, 그룹 크기 64(비트당 2.25비트)를 쓰는 파일이 공식 llama.cpp 표준이 되어 앞으로 이름이 바뀔 예정이다.