448GB VRAM으로 MiniMax M3를 집에서 돌린 사례
총 448GB VRAM을 갖춘 개인용 초대형 컴퓨터에서 가 실행됐다. 장비는 96GB Max-Q 2장, 24GB 8장, 32GB 2장, 전원공급장치 3개, 128GB , 9960x로 구성됐다.
모델은 방식으로 줄여서 vLLM 위에서 돌렸고, PP와 TP 그룹을 함께 써서 여러 그래픽카드에 일을 나눴다. 속도는 한 사람이 단독으로 쓸 때 초당 약 30토큰, 묶음 처리에서는 초당 약 960토큰 수준이었다.
한 명에게는 100만 토큰 문맥까지 줄 수 있지만, 목표는 동시에 4명이 쓰는 방식이다. 긴 문맥을 여러 사용자에게 안정적으로 나누는 위치와 방식은 아직 정해지지 않았다.
핵심 포인트
- 총 448GB VRAM을 가진 다중 그래픽카드 장비에서 를 실행했다.
- 로 모델 크기를 줄여 부담을 낮췄다.
- vLLM과 PP, TP를 써서 여러 그래픽카드에 계산을 나눴다.
- 단일 사용자는 초당 약 30토큰, 묶음 처리는 초당 약 960토큰 속도였다.
- 한 사용자에게 100만 토큰 문맥을 줄 수 있지만, 동시에 4명까지 쓰는 구성은 아직 실험 중이다.