TensorSharp, 로컬 AI 모델 실행 엔진을 오픈소스로 공개
TensorSharp는 컴퓨터 안에서 AI 언어 모델을 직접 실행하는 오픈소스 추론 엔진이다. 의 을 대상으로 하며, 예시로 Gemma4, , 같은 모델을 지원한다. 이미지, 시각, 오디오를 다루는 멀티모달 기능과 추론, 함수 도구 호출 기능도 포함한다.
윈도우, 맥, 리눅스에서 실행할 수 있고, GPU 성능을 활용하도록 설계됐다. API는 OpenAI와 방식에 맞춰져 있어 기존 도구와 붙이기 쉽다. 성능은 와 비슷한 수준이라고 주장된다.
단순한 C# 래퍼가 아니라 전체 추론 엔진을 직접 구현했으며, CPU 백엔드는 순수 C#으로 실행된다. CUDA, MLX, GGML 백엔드도 있고, vLLM의 paged 와 continuous batching, oMLX의 SSD 캐시, 의 GGUF 양자화 같은 아이디어를 참고했다.
핵심 포인트
- 로컬에서 AI 언어 모델을 실행하는 오픈소스 추론 엔진이다.
- Gemma4, , 등 기반 을 지원한다고 한다.
- 윈도우, 맥, 리눅스에서 실행되며 GPU 활용을 목표로 한다.
- OpenAI와 방식의 API와 호환된다고 한다.
- CPU 백엔드는 순수 C#이고, CUDA, MLX, GGML 백엔드도 제공한다.