작은 AI 모델을 브라우저에서 초고속으로 실행한 사례
LFM2.5 230M이라는 작은 이 브라우저 안에서 초당 약 1,400토큰 속도로 실행됐다. 실행에는 이 쓰였고, 모든 처리는 사용자의 기기 안에서 이뤄졌다. 영상은 애플 M4 Max 칩이 들어간 기기에서 녹화됐다.
모델은 LiquidAI의 LFM2.5-230M이며, 형식으로 제공된다. 직접 시험해볼 수 있는 데모는 스페이스에 올라와 있다.
핵심 포인트
- LFM2.5 230M 모델이 브라우저에서 초당 약 1,400토큰 속도로 실행됐다.
- 처리는 서버가 아니라 사용자의 기기 안에서 이뤄졌다.
- 을 직접 만들어 속도를 높인 사례다.
- 실행 영상은 M4 Max 기기에서 녹화됐다.
- 가벼운 에이전트 보조 작업을 로컬에서 처리하는 방향과 맞닿아 있다.