초대형 공개 AI 모델을 노트북에서 돌린 실험
라는 7440억 개 매개변수 규모의 공개 을 12코어, 25GB 메모리 노트북에서 실행한 개인 실험이다. 이 모델은 MoE 구조라서 전체 모델을 한꺼번에 메모리에 올리지 않아도 일부 조각만 골라 쓸 수 있다. 이를 위해 colibrì라는 작은 실행 엔진을 만들었고, 자주 필요한 밀집 부분은 메모리에 약 10GB만 올린 뒤 필요한 전문가 조각은 디스크에서 그때그때 읽어 왔다.
양자화, 스트리밍, MTP 조정, 의 도움을 거쳐 실제 대화 응답까지 만들었다. 속도는 매우 느려서 처음 실행 기준 초당 약 0.05~0.1 토큰 수준이다. 그래도 이탈리아어 대화가 가능했고, 작은 장비에서도 대형 이 실제로 응답할 수 있다는 점을 확인했다.
아직 1인 초기 프로젝트라 완성도는 낮으며, 더 빠른 NVMe 저장장치나 더 많은 메모리를 가진 사람이 성능 수치를 공유해 주길 기대하고 있다.
핵심 포인트
- 7440억 매개변수 모델을 25GB 메모리 노트북에서 실행했다.
- colibrì는 밀집 부분만 메모리에 두고 필요한 전문가 조각은 디스크에서 읽는다.
- 현재 속도는 초당 약 0.05~0.1 토큰으로 매우 느리다.
- 양자화와 스트리밍을 이용해 작은 장비에서도 실행 가능성을 보였다.
- 더 빠른 NVMe 저장장치나 더 많은 메모리에서 성능 개선 여지가 있다.