스마트폰에서 오프라인으로 도는 개인용 Qwen 앱
스마트폰에서 인터넷 없이 실행되는 지역 실행 이 공개됐다. 은 1.5B와 4B이며, 둘 다 메모리 사용을 줄이기 위해 강하게 양자화됐다.
4B 모델은 메모리 12기가바이트 이상인 스마트폰을 목표로 하고, 1.5B 모델은 중급 스마트폰에서도 돌도록 약 바이트 메모리만 쓰게 만들었다. 작은 모델은 을 더 잘하도록 2개 언어용 LoRA를 추가로 만들고 있으며, 32B급 큰 모델에서 지식을 옮겨 배우는 증류 작업도 진행 중이다.
4B 모델은 LoRA 없이도 어느 정도 작동하며, 용 APK는 nothumanallowed.com/local에서 받을 수 있다. 윈도우용 실행 파일도 곧 제공될 예정이며, 좋은 성능의 컴퓨터에서는 더 빠르게 작동한다고 소개됐다.
핵심 포인트
- 1.5B와 4B 모델을 스마트폰용으로 줄여 실행한다.
- 4B 모델은 메모리 12기가바이트 이상 스마트폰을 목표로 한다.
- 1.5B 모델은 약 바이트 메모리만 써서 중급 스마트폰을 겨냥한다.
- 작은 모델에는 을 돕는 LoRA와 32B 모델 기반 증류가 적용되고 있다.
- APK는 공개됐고, 윈도우용 실행 파일도 준비 중이다.