NVIDIA DGX Spark 2대로 로컬 AI 운영을 시험한 경험
2대를 실제 추론 작업에 쓰며 테스트 환경과 운영 환경에서 을 돌린 경험이다. 선택 이유는 속도, VRAM, 비용, 관리 부담, 사용 편의성의 균형이 가장 좋았기 때문이다.
용도는 테스트, 운영용 로컬 모델 실행, 고객이나 내부 업무에 맞춘 미세 조정이다. 비교했던 다른 선택지는 RTX 6000 2~4장과 EPYC 서버 조합, 그리고 메모리 256GB 또는 512GB의 Mac Studio M3 Ultra였다.
실제로 다룬 모델은 , 3 Super, Qwen 3.5 122B, , 그리고 임베딩·비전·이미지용 소형 특화 모델들이다. 클라우드 대신 자체 호스팅을 보는 핵심 이유로는 개인정보 보호가 제시되지만, 공개된 내용은 그 다음 설명까지 이어지지 않는다.
핵심 포인트
- DGX Spark 2대를 테스트와 운영 추론 작업에 사용했다.
- 선택 기준은 속도, VRAM, 비용, 관리 부담, 사용 편의성의 균형이었다.
- 테스트, 운영용 로컬 모델, 미세 조정에 활용했다.
- 비교 대상은 RTX 6000 기반 서버와 고메모리 Mac Studio였다.
- Deepseek, Nemotron, Qwen 계열 모델과 소형 임베딩·비전·이미지 모델을 사용했다.