Claude Code로 만든 매직 규칙 질문용 AI 모델 시험
WUBRG-Bench는 매직: 더 개더링 카드 규칙 질문으로 을 시험하는 벤치마크다. 시작점은 Oko가 Magus of the Moon을 3/3 Elk로 바꾸면 기본이 아닌 땅 카드가 여전히 Mountain이 되는지 묻는 헷갈리는 규칙 질문이었다. 과 은 Magus가 능력을 잃으니 기본이 아닌 땅이 Mountain이 아니게 된다고 답했지만, 그 답은 틀렸다.
Claude Code는 Rules Guru의 API에서 규칙 질문과 정답을 가져와 모델을 시험하는 실행 도구를 만들었다. 처음에는 채점이 분명한 예/아니오 질문만 썼고, 이후 찍어서 맞히기 어려운 숫자 답변 질문도 추가했다. 대체로 이 일반 모델보다 더 잘했지만, Qwen-3.7-max는 예외적으로 높게 나와 문제 세트가 에 들어갔을 가능성이 의심된다.
앞으로는 특정 카드 이름을 같은 기능의 다른 카드로 바꾸는 방식으로 문제를 일반화해, 단순 암기가 성적에 섞이는지 확인할 수 있다.
핵심 포인트
- WUBRG-Bench는 매직 카드 규칙 질문으로 AI 모델 답변을 시험한다.
- 과 은 한 복잡한 카드 규칙 질문에 자신 있게 틀린 답을 냈다.
- Claude Code가 Rules Guru API를 써서 질문과 정답을 가져오는 시험 도구를 만들었다.
- 예/아니오 질문과 숫자 답변 질문을 써서 채점을 더 분명하게 했다.
- Qwen-3.7-max의 높은 점수는 문제 암기 가능성을 의심하게 만든다.