6GB 노트북 그래픽카드로 대형 AI 모델을 로컬 실행
2019년형 게이밍 노트북에서 모델이 초당 약 28개 토큰 속도로 실행됐다. 장비는 i7-9750H, GTX 1660 Ti 6GB 그래픽카드, 32GB 메모리 구성이다. 이 모델은 전체 크기는 350억 파라미터지만, 토큰 하나를 처리할 때는 약 30억 파라미터만 실제로 쓰는 MoE 구조라 계산 부담이 훨씬 작다.
`--n-cpu-moe 36` 설정으로 어텐션과 공유 텐서는 그래픽카드에 두고, 전문가 텐서는 시스템 메모리로 빼서 작은 그래픽카드에서도 돌아가게 했다. 포크의 `turbo4`와 `turbo3` KV cache 양자화가 핵심 역할을 했다. 에서는 KV cache가 메모리를 크게 차지하는데, 이 방식이 기본 `q8_0`보다 더 작게 만들어 6GB 그래픽카드에 맞췄다.
로컬의 `:8080`에서 로 열어 opencode에 연결했기 때문에 클라우드 API 비용 없이 쓸 수 있다. 포크는 빠르게 바뀌므로 특정 커밋 `4595fff`에 고정하는 것이 권장된다.
핵심 포인트
- 가 GTX 1660 Ti 6GB에서 초당 약 28개 토큰으로 실행됐다.
- MoE 구조 덕분에 전체 350억 파라미터 모델이지만 토큰당 약 30억 파라미터만 계산한다.
- `--n-cpu-moe 36` 설정은 일부 텐서를 시스템 메모리로 보내 부담을 줄인다.
- `turbo4`와 `turbo3` KV cache 양자화가 를 6GB 그래픽카드에 맞추는 핵심이었다.
- 로 열어 opencode에 연결하면 클라우드 API 비용 없이 실험이 가능하다.