안드로이드폰에서 여러 로컬 언어 모델을 돌리는 오픈소스 앱
하나에서 MNN Chat, , 기반 모델을 함께 쓰려는 실험이다. MNN 모델 지원은 아직 직접 검증되지 않았고, 은 로 실행된다. 삼성 갤럭시 S23 FE에서 Gemma 3 1B는 초당 약 20토큰, 같은 휴대폰에서 TFLite 기반 는 초당 약 10토큰 속도로 동작했다.
앱은 깃허브에 오픈소스로 공개되어 있다. 검색 기능은 아직 테스트 중이며 공개되지 않았고, 사고 모드, 음성 입력과 출력, 앱 안에서 서버를 여는 기능도 포함된다. 여기에 웹 화면, RAG, OCR을 붙일 수 있는 구조를 목표로 한다.
아직 공개되지 않은 Invent 화면은 세 개의 모델을 이어 붙인다. 첫 모델은 프로젝트 아이디어를 묻고 정리하며, 두 번째 모델은 최신 정보와 의존성, 실현 가능성을 찾고, 첫 모델이 다시 확인한 뒤 세 번째 코딩 모델로 넘기는 방식이다.
핵심 포인트
- 삼성 갤럭시 S23 FE에서 Gemma 3 1B가 초당 약 20토큰으로 실행됐다.
- TFLite 기반 는 같은 휴대폰에서 초당 약 10토큰으로 실행됐다.
- 앱은 로 을 실행하며, MNN 모델 지원도 목표로 한다.
- 검색, 사고 모드, 음성 입출력, 앱 내부 서버 기능을 넣고 있다.
- Invent 기능은 계획 모델, 조사 모델, 코딩 모델을 이어 붙이는 을 목표로 한다.