듀얼 GPU 추론에서 PCIe x4가 속도를 늦출 수 있는지 묻는 사례
Biostar Z890 Valkyrie 메인보드는 에 직접 연결된 .0 슬롯 3개를 제공한다. 한 슬롯만 쓰면 x16, 두 슬롯을 쓰면 x8/x8, 세 슬롯을 쓰면 x8/x4/x4로 나뉜다.
로 LLM 추론을 돌리려는 구성에서는 두 GPU가 x8/x8로 동작하는 것이 기대 상황이다. 하지만 아래쪽 에 SATA 확장 카드를 추가하면 가운데 GPU 슬롯이 x4 속도로 내려갈 수 있다.
핵심 걱정은 두 GPU를 x8/x4로 쓸 때 추론 속도가 체감될 만큼 떨어지는지다. 특히 모델이 VRAM 안에 완전히 들어가는 경우와, 일부만 GPU에 올리고 나머지를 다른 메모리로 넘기는 부분 오프로딩 상황이 구분된다.
핵심 포인트
- Biostar Z890 Valkyrie는 .0 슬롯을 x16, x8/x8, x8/x4/x4 방식으로 나눠 쓸 수 있다.
- SATA 확장 카드를 아래쪽 슬롯에 꽂으면 가운데 GPU 슬롯이 x4로 내려갈 수 있다.
- 관심사는 LLM 추론에서 x8/x4가 x8/x8보다 느린지다.
- 모델이 VRAM에 완전히 들어가는 경우와 부분 오프로딩을 쓰는 경우를 따로 봐야 한다.
- 로컬 을 줄이려면 GPU 개수뿐 아니라 배치도 확인해야 한다.