자바에서 로컬 AI를 빠르게 실행하는 오픈소스 도구
libargus.cc는 안에서 과 음성 인식 모델을 실행하기 위한 오픈소스 실행 엔진이다. 별도 서버와 REST 통신을 거치지 않고, Java 22의 를 통해 , , ggml 계산 그래프에 직접 연결한다. 자바와 저수준 코드 사이의 연결 방식을 단순하게 만들기 위해 구조화된 API와 안정적인 ABI를 제공한다.
자주 실행되는 경로에서는 새 메모리 할당을 없앴으며, 프롬프트와 토큰용 메모리를 한 번만 마련해 계속 사용한다. 데이터 배열을 불필요하게 복사하거나 사용이 끝난 메모리가 쌓이는 일을 줄여 지연 시간과 메모리 부담을 낮추려는 설계다. 배포하기 쉽도록 운영체제에서 바로 실행할 수 있는 미리 컴파일된 파일도 자바 패키지에 포함한다.
앞으로는 대신 시간과 공간의 관계를 다루는 L-TABB 메모리 계층을 올리는 기반으로 활용할 계획이다.
핵심 포인트
- Java 22에서 별도 REST 서버 없이 와 를 직접 호출한다.
- 프롬프트와 토큰용 메모리를 한 번 할당해 반복 사용한다.
- 배열 복사와 불필요한 메모리 생성을 줄여 낮은 지연 시간을 목표로 한다.
- 미리 컴파일된 실행 파일을 자바 패키지에 넣어 배포 과정을 단순화한다.
- 향후 L-TABB 메모리 계층을 구축하는 기반으로 사용할 계획이다.