소비자용 GPU로 대형 MoE 모델을 파인튜닝하는 오픈소스 기법 공개
USAF라는 새로운 파인튜닝 방법이 공개됐다. 목표는 단순하다: 어떤 GPU가 을 돌릴 수 있다면, 그 GPU로 파인튜닝(모델을 추가 학습시켜 특화시키는 작업)도 할 수 있어야 한다는 것이다. 이 방법은 12GB 메모리를 가진 AMD RX 6750 XT 같은 일반 소비자용 GPU에서 Qwen3-30B-A3B라는 대형 MoE(, 여러 전문가 하위 모델을 조합한 구조) 모델을 파인튜닝할 수 있게 해준다.
기존 방식처럼 어댑터(모델에 붙이는 작은 추가 학습 모듈)를 쓰는 대신, 희소(sparse) 방식으로 일부 전문가 가중치와 라우터(어떤 전문가를 쓸지 결정하는 부분)만 골라서 학습시키는 것이 핵심이다. 이 프로젝트는 로 완전히 오픈소스로 공개됐으며, 제작자는 사업화나 수익화 목적이 아니라고 밝혔다.
핵심 포인트
- USAF는 소비자용 GPU에서 을 파인튜닝하는 새로운 희소 학습 기법
- AMD RX 6750 XT(12GB)에서 Qwen3-30B-A3B 모델 파인튜닝 성공 사례 제시
- 어댑터 대신 일부 전문가 가중치와 라우터만 선택적으로 학습
- 로 GitHub에 완전 오픈소스 공개
- 제작자는 비영리 목적으로 개발했다고 밝힘