PrismML, 270억 매개변수 AI를 아이폰에서 구동한다고 주장
Khosla의 투자를 받은 PrismML은 알리바바의 오픈소스 언어 모델 를 압축해 아이폰 17 프로에서 실행하는 데 성공했다고 밝혔다. 이 모델은 270억 개의 매개변수를 갖고 있으며, 휴대전화에서 보통 한 번에 작동하는 수십억 개 규모의 모델보다 훨씬 크다.
PrismML은 복잡한 대화와 추론, 소프트웨어 코딩, 사람의 개입을 줄인 작업까지 휴대전화 안에서 처리할 수 있다고 주장한다. 압축된 모델은 다음 주 화요일에 다운로드할 수 있도록 오픈소스로 공개될 예정이다.
다만 수조 개의 매개변수를 가진 초대형 모델은 여전히 모바일 기기에서 실행하기 어렵다. 최고경영자 바박 하시비는 약 3년 뒤 필요한 의 95%를 휴대전화와 노트북, 가전제품에서 직접 처리하고, 가장 어려운 5%만 클라우드에 맡기는 환경을 예상했다.
핵심 포인트
- 의 270억 개 매개변수를 아이폰 17 프로에서 구동했다는 주장이다.
- 복잡한 대화, 추론, 코딩, 작업을 기기 안에서 처리할 수 있다고 한다.
- 압축 모델은 다음 주 화요일에 다운로드 가능한 오픈소스로 공개될 예정이다.
- 는 클라우드 호출 횟수와 사용료, 통신 지연을 줄일 수 있다.
- 정확도와 속도, 메모리·배터리 사용량을 보여주는 독립 검증은 아직 필요하다.