DGX Spark 2대로 대형 AI 모델을 에이전트용 속도로 실행
2대를 연결해 같은 큰 MoE 모델을 직접 실행하면, 긴 문맥을 쓰는 에도 쓸 만한 속도가 나온다. 핵심 조건은 2대와 약 180달러짜리 전용 연결 케이블이며, 이 연결로 장비 사이 데이터 이동 속도를 크게 높인다.
공개된 측정값에서는 2대가 vLLM과 FP8 설정에서 단일 요청 기준 약 41 토큰/초, 여러 요청을 동시에 처리할 때 총합 약 350 토큰/초를 냈다. 같은 비교에서 은 단일 요청 기준 약 46.9 토큰/초, M2 Ultra 192GB는 약 29.7 토큰/초였다.
1대만 쓸 때는 약 14 토큰/초로 훨씬 느렸다. 2대 구성이 강한 이유는 FP8 설정을 쓰고, 동시에 여러 요청을 처리할 수 있기 때문이다.
핵심 포인트
- 2대를 연결해야 에이전트용으로 충분한 속도에 가까워진다.
- 전용 연결 케이블 비용은 약 180달러로 언급됐다.
- 2대는 vLLM과 FP8 설정에서 단일 요청 약 41 토큰/초를 기록했다.
- 동시 요청 32개 기준 총 처리량은 약 350 토큰/초까지 나왔다.
- 1대는 약 14 토큰/초로, 2대 구성보다 크게 느렸다.