스마트폰에서도 돌리는 작은 로컬 AI 모델 실험
스마트폰에서도 완전히 로컬로 실행할 수 있는 작은 2개를 관리하는 가 공개됐다. 40억 개 규모 모델은 성능이 꽤 안정적이지만, 고급 스마트폰이 필요하다. 17억 개 규모 모델은 을 켜면 아직 안정적으로 유지되지 않는다.
개선 방법은 약 13만 개의 예시로 깊게 을 하는 것이다. 핵심 어려움은 학습 수치 자체보다 예시의 품질과 다양성을 확보하는 데 있다. 더 큰 320억 개 규모 모델을 교사처럼 써서 작은 모델에 지식을 옮기는 증류 방식도 쓰고 있다.
데이터셋이 약 10일 뒤 준비되면 17억 개 규모 모델도 더 나아질 것으로 기대된다.
핵심 포인트
- 스마트폰에서도 로컬로 실행할 수 있는 작은 관리 가 공개됐다.
- 40억 개 규모 모델은 잘 작동하지만 고급 스마트폰이 필요하다.
- 17억 개 규모 모델은 을 켜면 아직 불안정하다.
- 약 13만 개 예시로 을 해 품질을 높이려는 계획이다.
- 320억 개 규모 모델의 지식을 작은 모델로 옮기는 증류 방식을 쓰고 있다.