LingBot-Video, 로봇 행동을 영상으로 예측하는 오픈 모델 공개
LingBot-Video는 로봇의 행동과 손 위치 조건을 넣으면 앞으로의 움직임을 영상으로 예측하는 모델이다. 전체 크기는 130억 매개변수지만, 한 번 계산할 때는 그중 14억 매개변수만 쓰는 구조를 쓴다. 이 방식은 큰 모델의 용량을 유지하면서 실제 계산량을 줄이려는 설계다.
훈련 뒤에는 물리적으로 그럴듯한지 등을 보는 6가지 보상으로 을 했다. 다만 물리 판단을 이 영상 일부 장면을 보고 매기는 방식이라, 실제 물리 이해라기보다 점수에 맞춘 꼼수가 생길 수 있다는 의문이 있다. 실제 로봇을 반복적으로 움직이며 성능을 잰 결과는 아직 없고, 공개된 결과는 주로 영상 품질 평가다.
RBench에서는 평균 점수가 가장 높았지만, 추론이 많이 필요한 항목은 이 더 강했고, 일반 텍스트-영상 평가에서는 자체 평가 기준으로 2위였다. 코드, 가중치, 실행 스택이 공개되어 직접 시험할 수 있다.
핵심 포인트
- 전체 130억 매개변수 중 실행 때는 14억 매개변수만 활성화한다.
- 로봇 행동과 손 위치를 조건으로 다음 상황을 영상으로 예측한다.
- 물리적 그럴듯함을 포함한 6가지 보상으로 을 했다.
- 물리 판단을 이 맡기 때문에 보상 해킹 우려가 있다.
- 실제 로봇 성능 수치는 아직 제시되지 않았다.