USB4로 여러 미니 PC를 묶어 AI 실행 비용을 낮추는 실험
USB4와 포트를 빠른 서버용 연결처럼 쓰는 실험이 공개됐다. 모듈을 만들어 미니 PC의 일반 USB4/ 포트가 장치처럼 보이게 했다.
목표는 vLLM이나 RCCL 같은 AI 실행 도구가 여러 대의 작은 컴퓨터를 하나처럼 써서 추론이나 학습을 나눠 처리하게 하는 것이다. 두 대의 128GB 미니 PC 연결에서 양방향 원시 RDMA 속도는 약 95Gb/s, 한 방향 지연은 약 7마이크로초로 측정됐다.
한 대에는 맞지 않는 -M2.7 모델을 두 대로 나눠 추론했고, 3 27B LoRA FSDP 학습 단계는 이더넷에서 1359초 걸리던 것이 4개 HCA USB4 RDMA 연결에서는 126초로 줄었다. 다만 코드는 연구용이며 대부분 AI로 생성됐고, 실험용 커널 모듈을 올려야 하므로 실제 서비스나 안정적인 작업용으로 쓰기에는 이르다.
핵심 포인트
- 일반 USB4/ 포트를 처럼 보이게 하는 모듈 실험이다.
- 두 대의 128GB 미니 PC에서 약 95Gb/s 양방향 RDMA 속도와 약 7마이크로초 지연이 나왔다.
- 한 대에 들어가지 않는 -M2.7 추론을 두 대로 나눠 실행했다.
- 3 27B LoRA FSDP 작업은 이더넷 1359초에서 USB4 RDMA 126초로 줄었다.
- 연구용 코드라 안정성, 지원, 실제 운영 가능성은 아직 확인되지 않았다.