64GB 애플 실리콘 맥에서 LingBot-Video 직접 구동하기
LingBot-Video는 으로 공개된 문장 기반 영상 생성 모델이라 외부 서비스에 초당 요금을 내지 않고 직접 운영할 수 있다. 그러나 공식 실행 환경은 엔비디아 그래픽카드와 CUDA를 전제로 한다. 300억 매개변수 은 bf16 형식의 핵심 모델만 약 60GB이며, 64GB 맥에서 그래픽 작업에 쓸 수 있는 메모리는 약 55.7GB라 실행하기 어렵다.
대신 가중치 파일이 약 12GB인 13억 매개변수 모델은 에서 구동할 수 있었다. 이를 위해 CUDA 전용 파이토치 시험판을 일반 파이토치 2.13과 MPS 조합으로 바꾸고, -3 대신 SDPA를 사용했다. arm64 맥용 설치 파일이 없는 decord는 같은 방식으로 불러올 수 있는 eva-decord로 교체했다.
또한 MPS에서는 bf16 계산에 fp32 입력이 들어가면 일반 오류 메시지 없이 프로그램이 중단될 수 있어 자료형을 맞춰야 했다.
핵심 포인트
- 300억 매개변수 모델은 64GB 맥의 한도를 넘어선다.
- 13억 매개변수 모델의 가중치 파일은 약 12GB다.
- CUDA가 없을 때 -3 대신 SDPA를 사용했다.
- decord 대신 arm64 맥에서 설치 가능한 eva-decord를 사용했다.
- MPS에서는 bf16과 fp32 자료형이 섞이지 않도록 맞춰야 한다.