클로드 Fable 5와 GPT-5.6 Sol, 퍼즐게임 '바바 이즈 유' 거의 다 풀었다
연구팀이 퍼즐 게임 '바바 이즈 유(Baba Is You)'의 스테이지를 환경 프레임워크인 Harbor에 이식해 'Baba is Harbor'라는 오픈소스 벤치마크를 만들었습니다. Stage 0(튜토리얼)과 Stage 1(호수 스테이지)에서 클로드 와 두 모델을 테스트한 결과, 두 모델 모두 거의 모든 레벨을 풀어냈습니다.
그 중 가 더 빨랐지만, 그래도 사람보다 4배 느렸습니다. 이 게임은 출시된 지 오래됐지만, 모델들이 답을 미리 외워서 푸는 '기억 재생' 흔적은 발견되지 않았다고 합니다.
이는 코딩 벤치마크로 널리 쓰이는 와 비교했을 때 의미 있는 차이입니다. 시도 횟수, 토큰 사용량, 총 비용 등 세부 데이터는 블로그 글(quesma.com/blog/baba-is-bench)에 공개돼 있습니다.
핵심 포인트
- '바바 이즈 유' 게임을 에이전트 AI 테스트용 벤치마크로 이식(Baba is Harbor, 오픈소스)
- 클로드 와 모두 Stage 0·1의 거의 모든 레벨을 해결
- 가 더 빨랐지만 사람보다는 4배 느림
- 기존 코딩 벤치마크()와 달리 답을 외워서 푸는 흔적 없음
- 시도 횟수·토큰 사용량·총 비용 데이터는 블로그에 공개