중국에서 대형 모델 실행용 그래픽카드를 사려는 고민
중국 방문 중 대형 을 직접 실행할 수 있는 중국산 그래픽카드나 를 살 만한지 찾고 있다. 목표는 최고 속도보다 큰 모델을 돌릴 수 있는 넉넉한 메모리다. vLLM이나 같은 도구에서 지원되는 장비가 필요하다.
설치와 설정이 조금 까다로워도 감수할 수 있다. 예시로는 화웨이 카드처럼 엔비디아 대신 쓸 수 있는 선택지를 원한다.
핵심 포인트
- 대형 추론을 위한 중국산 그래픽카드나 를 찾고 있다.
- 최고 성능보다 큰 메모리 용량이 더 중요하다.
- vLLM 또는 에서 돌아가는 장비가 필요하다.
- 설정이 복잡해도 직접 맞춰 쓸 수 있다는 전제다.
- 엔비디아 대신 화웨이 같은 중국산 선택지를 고려하고 있다.