오픈소스중요도: 보통
Gemma 4를 브라우저에서 초당 255토큰 속도로 실행
r/LocalLLaMA2026년 6월 18일 · 25일 전
모델이 브라우저 안에서 WebGPU를 이용해 실행되며, M4 Max 환경에서 초당 약 255토큰 속도에 도달했다. 이 속도는 가 종료되기 전에 Gemma 4용 을 최적화해 얻은 결과다.
실행 데모와 커널이 에 공개되어 직접 시험해볼 수 있다. 사용된 모델은 구글의 it qat mobile s 모델이다.
핵심 포인트
- 가 브라우저 안에서 WebGPU로 실행됐다.
- M4 Max에서 초당 약 255토큰 속도를 냈다.
- 가 종료되기 전에 최적화를 도왔다.
- 데모와 커널이 에 공개됐다.
- 서버 추론 비용을 줄이는 온디바이스 실행 가능성을 보여준다.