빠른 시뮬레이터로 게임 AI 에이전트를 더 싸게 훈련한 사례

Generals.io라는 전략 게임에서 사람보다 강한 AI 에이전트가 만들어졌다. 이 에이전트는 사람끼리 겨루는 1대1 공개 순위표에서 1위를 기록했고, 상위 두 명의 사람 플레이어를 상대로도 269번 중 199번 이겼다. 초기 버전은 석사 논문 프로젝트로 시작됐고, 사람 플레이 데이터를 따라 배우는 방식, 강화학습 보정, 보상 설계를 함께 썼지만 최상위 플레이어에게는 계속 졌다.

이후 전체 훈련 흐름을 JAX로 다시 만들고, 기존 합성곱 신경망 대신 비전 트랜스포머를 썼다. 핵심 변화는 손으로 규칙을 더 붙이는 대신, 더 빠르게 많이 훈련할 수 있는 구조에 투자한 점이다. JAX 기반 시뮬레이터는 단일 그래픽카드에서 초당 수천만 프레임을 처리해 기존 시뮬레이터보다 약 1만 배 빨랐다.

최종 훈련은 4개의 엔비디아 H200 그래픽카드에서 4일 동안 진행됐다. 코드와 빠른 시뮬레이터가 오픈소스로 공개돼, 숨겨진 정보가 있는 전략 게임 환경을 실험하려는 사람도 직접 활용할 수 있다.