놀고 있는 8장짜리 GPU 서버로 로컬 추론을 돌릴 수 있을까
직장에 거의 쓰지 않는 GPU 서버가 있다. 이 서버에는 NVIDIA Quadro GPU 8장이 있고, 합쳐서 192GB VRAM을 쓸 수 있다. 일반 메모리는 512GB이고, CPU 은 약 112개다.
목표는 이 장비를 용으로 다시 쓰는 방안을 상사에게 제안하는 것이다. 핵심 고민은 단일 GPU 컴퓨터로는 어렵지만 이 장비에서는 돌릴 수 있는 가치 있는 이 무엇인지다.
핵심 포인트
- 거의 쓰지 않는 사내 GPU 서버를 에 재활용하려는 상황이다.
- 장비는 Quadro GPU 8장, 총 192GB VRAM을 갖고 있다.
- 512GB 메모리와 약 112개 CPU 도 사용할 수 있다.
- 단일 GPU 컴퓨터보다 큰 이나 더 무거운 추론 작업을 돌릴 가능성이 있다.
- 상사에게 제안하려면 실제 업무 가치와 비용 절감 근거가 필요하다.