14대 맥으로 4개국에서 분산 RL 학습, 국내 인터넷만으로 성공
Pluralis 가 4개국에 흩어진 일반 소비자용 맥 14대만으로 후속 훈련을 돌린 사례를 공개했다. 이 14대의 맥이 MLX로 int8(저정밀도) 추론을 돌리며 '롤아웃'(에이전트가 실제로 행동을 시도해보는 과정)을 모두 생성했고, 다른 대륙의 B200 GPU 한 대가 bf16(고정밀도) 방식으로 실제 모델 업데이트 계산을 담당했다. 이 둘은 데이터센터 전용 회선 없이 오직 와 일반 가정용 인터넷으로만 통신했다.
에이전트 RL에서는 롤아웃 생성이 전체 연산량의 약 80%를 차지하기 때문에, 이 부분을 저렴한 소비자 하드웨어로 대체한 것이 핵심이다. 가장 어려운 문제는 맥에서 도는 int8 저정밀도 모델이 몇 버전 뒤처진 상태로 롤아웃을 만들고, 실제 학습은 최신 bf16 모델로 진행되면서 생기는 '엇박자'(off- gap)였다. 이를 해결하기 위해 PULSE라는 기법으로 전체 모델을 다시 보내는 대신 바뀐 부분(약 0.5%)만 전송해, 전송량을 9GB에서 약 82MB로 줄였다.
또 DPPO 방식의 확률 필터로 신뢰도가 낮은 토큰 약 0.3%를 걸러내 학습 안정성을 유지했다.
핵심 포인트
- 소비자용 맥 14대(4개국 분산)가 RL 훈련의 롤아웃 생성을 전담, 별도 대륙의 B200 GPU 1대가 실제 학습 업데이트 수행
- 데이터센터 전용망 없이 + 일반 가정 인터넷만으로 동기화
- PULSE 기법으로 전체 가중치 대신 변경분(약 0.5%)만 전송해 9GB→82MB로 전송량 절감
- DPPO 방식 확률 필터로 신뢰도 낮은 토큰 약 0.3% 제거해 학습 안정성 확보
- 코드 공개, 제작사(Pluralis ) 직원이 직접 작성