2.7억 파라미터 소형 LLM으로 폰에서 도는 음성 에이전트, 1.2GB 메모리로 실행
오픈소스 프로젝트 speech-()가 폰에서 완전히 로컬로 도는 를 공개했다. 음성 감지(VAD) → 실시간 음성 인식(STT) → LLM → 기기 동작 실행 → 음성 응답(TTS)까지 전 과정이 1.2GB 메모리 안에서 처리되며, 갤럭시 S23 울트라 기준 말이 끝난 뒤 0.9초 만에 응답한다. 을 담당하는 라우터 모델은 2억 7천만 파라미터 크기의 FunctionGemma다.
이렇게 작은 모델을 안정적인 에이전트로 만든 핵심은 두 가지다. 첫째, 범용 함수 호출용이 아니라 실제 사용하는 와 압축된 기기 상태 표현에 맞춰 9.5MB짜리 를 별도로 학습시켰다. 둘째, 매 순간 현재 상태에서 실제로 쓸 수 있는 도구만 모델에게 제시한다(예: 음악이 재생 중이 아니면 정지 도구 자체를 보여주지 않음).
이렇게 선택지를 좁히는 방식이 프롬프트를 정교하게 다듬는 것보다 훨씬 효과적이었다고 한다. 키워드나 정규식으로 처리하는 예외 경로 없이, 도구 선택은 전적으로 모델이 스스로 판단한다. 자체에 걸리는 시간은 12회 측정 평균 294밀리초였다.
핵심 포인트
- 폰에서 완전 로컬로 도는 , 1.2GB 메모리로 실행
- 을 담당하는 라우터는 2억 7천만 파라미터의 소형 모델 FunctionGemma
- 실제 와 기기 상태에 맞춰 9.5MB 를 별도 학습
- 현재 상태에서 쓸 수 있는 도구만 골라서 보여주는 방식이 신뢰성을 크게 높임
- 자체는 평균 294밀리초, 발화 종료 후 0.9초 만에 응답