저사양 노트북에서 1000억 매개변수 이상 AI 모델을 돌린 방법
코어 i7-8750H, 메모리 20GB, 4GB인 오래된 노트북에서도 1000억 개가 넘는 매개변수를 가진 대형 모델을 실행할 수 있었다. 핵심은 모든 계산 부분을 항상 쓰는 밀집 모델을 피하고, 필요한 전문가 부분만 골라 작동하는 을 선택하는 것이다. 모델 대부분은 512GB 삼성 NVMe 저장장치에 두고, mmap으로 필요한 데이터만 불러왔으며, 전문가 부분은 중앙처리장치가 맡았다.
KV 캐시는 Q4_0으로 양자화했고, 모델 파일은 보통 Q3를 선택했다. 7000억 매개변수를 넘고 실제로 한 번에 작동하는 매개변수가 200억 개보다 많은 모델에는 Q2보다 낮은 정밀도를 쓰지 않았다. 에서 의 UD-IQ3_XXS 버전은 초당 약 1.0~1.8토큰, Nemotron-3-Super-120B-A12B의 UD-Q3_K_M 버전은 초당 약 1.5~2토큰을 생성했다.
응답은 매우 느리지만 작업을 한꺼번에 맡겨 두는 방식으로 역공학, 코드 오류 수정, 코드 점검에 실제로 활용했다.
핵심 포인트
- 을 선택해 한 번에 필요한 일부 계산 부분만 작동시켰다.
- 모델 대부분을 NVMe 저장장치에 두고 mmap으로 필요한 부분만 불러왔다.
- KV 캐시는 Q4_0, 일반 모델 파일은 주로 Q3로 양자화했다.
- 두 모델의 생성 속도는 대략 초당 1~2토큰이었다.
- 느린 속도는 작업을 묶어서 맡기고 나중에 확인하는 방식으로 보완했다.