애플 실리콘 여러 대로 대형 언어 모델을 나눠 돌릴 수 있을까
사무실에 남아 있는 맥북 에어 M2 4대, 각 16기가바이트 메모리를 묶어 추론에 쓰려는 구성이다. 목표는 연결을 고리처럼 이어 여러 대를 하나의 분산 노드처럼 쓰는 것이다. 이미 exo-/exo로 시험했지만, Qwen 2.5/3.5 9B 4비트 모델에서 생성 속도가 초당 6~8토큰보다 낮아 실사용에는 느렸다.
다음 구상은 vllm-에서 입력을 미리 처리하는 노드와 답변 생성을 맡는 노드를 나누고, LM를 함께 써서 여러 M2 기기가 KV 캐시 저장소 역할을 하게 하는 방식이다. 핵심 쟁점은 vllm-이 여러 대에서 나 파이프라인 병렬 처리를 실제로 안정적으로 지원하는지다. 현재 문서상으로는 mx.distributed를 통한 맥 간 집합 통신이 아직 실험적이거나 개발 중인 상태로 보인다.
또 LM가 vllm-과 자연스럽게 붙어 분산 KV 캐시 계층을 만들고 속도를 끌어올릴 수 있는지도 불확실하다.
핵심 포인트
- 맥북 에어 M2 4대를 로 연결해 분산 추론에 쓰려는 구성이다.
- exo-/exo 시험에서는 Qwen 9B 4비트 모델 생성 속도가 초당 6~8토큰 미만이었다.
- vllm-로 입력 처리 노드와 답변 생성 노드를 나누는 구상이 제시됐다.
- LM를 써서 여러 기기의 KV 캐시를 따로 저장하거나 공유하려는 아이디어가 있다.
- 맥 간 분산 통신은 아직 실험적이거나 개발 중인 영역으로 보인다.