AI 모델 8종이 만든 3D 게임 24개로 능력과 비용 비교
는 AI 모델이 3차원 공간과 시간의 흐름, 행동의 원인과 결과를 얼마나 일관되게 다루는지 실제 게임으로 평가한다. 정답이 고정된 시험 대신, 경기장 전투·물리 퍼즐·경주라는 동일한 과제 3개를 모델 8종에 맡겨 브라우저에서 실행할 수 있는 3D 게임 24개를 만들었다. 평가 대상에는 , 와 OpenAI 및 Anthropic의 여러 모델이 포함됐다.
도 더 넣으려 했지만 실행 비용이 너무 커서 확대하기 어려웠다. 전체 실험비는 약 1,390달러였으며, Fable의 세 번 실행에만 약 756달러가 들었다. 그중 물리 퍼즐 한 번은 약 491달러와 거의 9시간이 필요했다.
Fable이 전체 비용의 절반 이상을 차지한 반면, 의 세 번 실행 비용은 모두 합쳐 약 108달러였다.
핵심 포인트
- 모델 8종이 같은 게임 과제 3개를 수행해 실행 가능한 3D 게임 24개를 만들었다.
- 평가는 공간 배치, 시간에 따른 일관성, 행동과 결과의 자연스러운 연결을 살핀다.
- 전체 실행 비용은 약 1,390달러였다.
- Fable의 세 번 실행은 약 756달러였고, 물리 퍼즐 한 번에 약 491달러와 거의 9시간이 들었다.
- 의 세 번 실행 비용은 합계 약 108달러였다.