StarWAM, 비디오 기반 WAM을 조립식으로 실험하는 코드베이스

StarWAM은 비디오 생성 기반 WAM을 더 쉽게 바꿔 끼우며 실험하도록 만든 초기 단계의 오픈베이스다. 목표는 복잡한 구성요소를 하나씩 교체할 수 있게 만들어, 여러 구조를 같은 틀 안에서 비교하는 것이다. 현재 Motus와 FastWAM 같은 MoT 방식 구조, DreamZero 같은 공유 DiT 구조, StarVLA WM4A와 Mimic Video에서 아이디어를 얻은 특징 조건부 구조를 지원한다.

모델의 바탕이 되는 백본으로는 Wan2.2 5B와 Predict2를 다룰 수 있다. 로봇 작업 평가에 쓰이는 도 지원한다. 다만 비디오 생성 모델은 구조가 복잡하고 백본마다 모듈 설계가 달라서, 아직 완전히 깔끔한 조립식 구조는 아니다.

계산 자원과 시간이 부족해 대규모 학습이나 튜닝도 충분히 진행되지 않았다.

핵심 포인트

  • StarWAM은 WAM 구조를 모듈처럼 바꿔 실험하기 위한 오픈베이스다.
  • Motus, FastWAM, DreamZero, StarVLA WM4A, Mimic Video 계열 아이디어를 같은 틀에서 다루려 한다.
  • Wan2.2 5B와 Predict2 백본을 지원한다.
  • 를 지원해 로봇 작업 평가와 연결할 수 있다.
  • 아직 초기 단계이며, 대규모 학습과 튜닝 결과는 충분하지 않다.
원문 보기