갤럭시 S26 울트라에서 Qwen 35B 모델 로컬 구동 테스트
한 개발자가 350억 파라미터급 Qwen 모델을 삼성 갤럭시 S26 울트라 스마트폰에서 직접 구동하는 실험을 진행했다. MoE 구조 덕분에 활성화되는 부분만 계산에 쓰여 전체 모델 크기보다 적은 메모리로도 휴대폰에 올릴 수 있었다고 한다. 구체적인 방법이나 구조는 공개하지 않았지만, 최적화 후 입력 처리 속도는 초당 약 90토큰, 답변 생성 속도는 초당 약 8토큰이 나왔다고 밝혔다.
작성자는 정규 학위나 소속 연구기관 없이 독학으로 AI/ML을 공부했다고 밝혔으며, 관련 논문 4편을 아카이브(arXiv)에 투고했지만 제1저자이면서 소속 기관이 없다는 이유로 아직 게재 보류 상태라고 전했다. 함께 테스트하거나 협업할 사람을 찾고 있다.
핵심 포인트
- 갤럭시 S26 울트라에서 5B급 을 로컬 구동
- 입력 처리 약 90토큰/초, 생성 속도 약 8토큰/초
- 구체적 구현 방법과 모델 구조는 비공개
- 작성자는 비전공 독학자로, 논문 4편이 소속 기관 부재로 게재 보류 중
- 공동 테스트·협업 참여자를 모집 중