로컬 AI용 고성능 컴퓨터 구축의 실제 비용 부담
로컬에서 큰 을 돌리기 위해 맞춘 개인용 컴퓨터가 완성됐다. 원래는 을 미국에서 약 8,500달러에 사려 했고, NVIDIA Inception 프로그램 할인을 받으면 1,000달러를 줄일 수 있을 것으로 기대했다. 하지만 신청 심사에 약 3개월이 걸린 뒤 거절됐고, 그 사이 가격은 13,500달러까지 올라 예산을 넘었다.
대신 현지에서 마지막으로 남은 RTX Pro 5000을 구입했다. 완성된 장비는 VRAM 80GB, RAM 192GB, 저장공간 17TB, 9950X3D 프로세서, 1.3kW 를 갖췄다. 그래픽카드와 프로세서를 동시에 최대 출력으로 쓰면 전력 여유가 95% 수준이라 약간 위험할 수 있어, 의 전력 제한을 걸어 안정성을 확보할 수 있다.
이제 Q_8s 모델과 작업을 돌릴 계획이다.
핵심 포인트
- 가격이 약 8,500달러에서 13,500달러로 올라 예산을 넘었다.
- NVIDIA Inception 할인 신청은 약 3개월 뒤 거절됐다.
- 대신 RTX Pro 5000을 구입해 로컬 AI 작업용 컴퓨터를 완성했다.
- 완성 장비는 VRAM 80GB, RAM 192GB, 저장공간 17TB를 갖췄다.
- 전력 여유가 크지 않아 에 전력 제한을 걸 수 있다.