맥에서 여러 AI 모델을 빠르게 돌리는 Zig 기반 서버
맥에서 새 AI 모델 지원이 늦거나 도구 호출, 이미지 인식, 긴 문맥 처리가 제대로 작동하지 않는 문제를 해결하기 위해 Zig로 추론 서버를 개발했다. 파이썬이나 일렉트론 없이 맥에서 직접 실행되며, 대부분의 MLX·을 지원한다.
OpenAI, Anthropic, 방식의 API와 호환돼 기존 프로그램을 연결하기 쉽다. 공개된 자체 시험에서는 와 을 실행할 때 보다 기하평균 기준 48% 빠른 결과를 냈으며, 저장소의 스크립트 하나로 같은 시험을 재현할 수 있다고 주장한다.
모델마다 제각각인 도구 호출 형식을 자동으로 알아내고, 잘못된 출력도 서버 단계에서 고친다. 이미지·영상·음악··3차원 생성 기능도 하나의 로컬 미디어 환경으로 묶었으며, 모두 MLX를 사용해 맥에서 직접 처리한다.
핵심 포인트
- 파이썬과 일렉트론 없이 Zig로 만든 맥용 추론 서버다.
- 대부분의 MLX·과 OpenAI·Anthropic· API를 지원한다.
- 자체 시험에서 와 실행 속도가 보다 기하평균 48% 빨랐다.
- 모델별 도구 호출 형식을 자동 감지하고 잘못된 출력을 보정한다.
- 이미지, 영상, 음악, , 3차원 생성 기능을 한 서버에 묶었다.