게임 제작으로 코딩 에이전트의 한계를 재는 새 벤치마크
는 가 글로 된 요청만 보고 실제 안에서 플레이 가능한 게임을 끝까지 만들 수 있는지 재는 평가입니다. 평가 대상은 에서 돌아가는 140개 작업이며, 15가지 게임 유형을 포함합니다. 단순히 코드가 맞는지만 보지 않고, 만든 결과물이 실행되는지, 플레이어가 직접 상호작용할 수 있는지, 화면 반응과 게임 구성이 제대로 이어지는지를 함께 봅니다.
가장 높은 점수를 낸 최신 에이전트도 41.46%에 그쳤고, 대부분은 40% 아래였습니다. 에이전트들은 기본 움직임이나 규칙처럼 알아볼 수 있는 게임 요소는 꽤 만들지만, 충분한 내용, 작동하는 , 완성도 있는 화면 구성을 갖춘 게임까지 마무리하는 데 약했습니다. 공개된 자료에는 논문, 코드, 데이터, 데모가 포함되어 있어 다른 모델을 같은 기준으로 시험할 수 있습니다.
커뮤니티에서는 30B~70B급 중간 크기 모델이 200B 이상 수준에 가까워질 수 있을지에 관심을 보였습니다.
핵심 포인트
- 는 에서 실행되는 140개 게임 제작 작업으로 구성되어 있습니다.
- 평가는 코드 작성뿐 아니라 실제 실행, 플레이 상호작용, 화면 반응까지 확인합니다.
- 가장 강한 최신 에이전트도 41.46%에 그쳐 완전한 게임 제작은 아직 어렵습니다.
- 에이전트는 기본 게임 요소는 만들지만 완성도와 에서 자주 실패합니다.
- 공개 코드와 데이터가 있어 중간 크기 모델의 을 비교하는 데 쓸 수 있습니다.