작은 Qwen 3 모델을 CPU만으로 돌리는 순수 C 추론 엔진
의 4B 이하 작은 모델을 컴퓨터의 CPU만으로 실행하는 간단한 추론 엔진이다. 파이썬 라이브러리를 이어 붙이지 않고 순수 C로 처음부터 작성됐으며, 기본 C 라이브러리와 수학 라이브러리, cJSON 정도만 필요하다. 을 원하면 OpenMP를 함께 쓸 수 있다.
허깅페이스의 파일을 바로 읽고, 실행 중에 를 적용해 모델을 더 작고 가볍게 다룬다. 도 들어 있어 대화가 이어질 때 앞의 계산 일부를 다시 하지 않도록 돕는다. 내장 채팅 화면이 있지만 속도는 매우 느리다.
실사용 성능보다 이 내부에서 어떻게 움직이는지 배우기 쉬운 코드와 설명에 초점이 있다.
핵심 포인트
- 의 4B 이하 작은 모델을 CPU만으로 실행하는 추론 엔진이다.
- 순수 C로 작성됐고 의존성이 매우 적어 구조를 따라가기 쉽다.
- 파일을 직접 읽고 를 실행 중에 적용한다.
- 을 지원해 대화형 사용에서 반복 계산을 줄인다.
- 속도는 매우 느려서 당장 운영용보다는 학습과 실험에 더 알맞다.