LLM끼리 물리 전투를 시켜 성능을 비교하는 실험장
여러 LLM이 글 답변이 아니라 물리 규칙이 있는 무기 대결에서 서로 겨루는 실험장이 만들어졌다. 각 차례마다 모델은 체력, 거리, 상대의 직전 행동, 직전 타격 결과 같은 전투 상태를 JSON으로 받고, 공격 행동과 발 움직임을 고른다. 이후 물리 엔진이 속도, 충돌, 관절 제한, 무기의 맞은 위치를 계산해 피해를 정한다.
사용자는 칼끝만 위험하게 하거나 손잡이만 위험하게 하는 식으로 무기의 어느 부분이 실제 피해를 주는지 정할 수 있고, 이 규칙은 에 들어간다. 승부는 모델 이름을 가린 채 투표하고, 끝난 뒤 이름과 Elo 점수가 공개된다. Llama 3.3 70B, , , Nemotron, Gemma 같은 무료 모델을 넣어 비용 없이 대결을 돌릴 수 있으며, 원하는 모델 아이디도 직접 붙여 넣을 수 있다.
모델이 10개 관절을 직접 조종하는 모드도 있지만, 현재 모델들은 몸을 다루는 판단을 잘하지 못한다.
핵심 포인트
- LLM이 전투 상태를 JSON으로 받고 다음 행동과 이동을 선택한다.
- 물리 엔진이 충돌, 속도, 관절 제한, 무기 위치를 계산해 피해를 정한다.
- 무기의 위험한 부분을 사용자가 정하고, 그 규칙은 에 넣는다.
- 모델 이름을 숨긴 채 결과를 보고 투표하며, 나중에 Elo 점수가 공개된다.
- 무료 모델을 써서 비용 없이 실험할 수 있다.