Schema 하네스, 모델 안 바꾸고 ARC-AGI-3서 99% 달성
Schema라는 새 하네스(, AI 모델을 감싸서 작동시키는 외부 처리 틀)가 ARC-AGI-3 공개 테스트셋에서 과 Fable 5 조합으로 99%, 조합으로는 95.35% 점수를 기록했다고 발표됐다. 핵심은 모델 자체의 가중치(, 모델이 학습한 내부 파라미터)를 전혀 바꾸지 않았다는 점이다.
대신 모델을 둘러싼 처리 과정을 바꿨다: 화면에서 본 정보를 게임의 작동 규칙에 대한 예측 모델로 정리하고, 그 예측을 실제 상호작용 기록과 대조해 검증하며, 계획을 세우고 필요하면 수정해 실행하는 방식이다. 점수 산출 방식도 고정 규칙을 따른다.
먼저 과 Sol을 최고 추론 강도(xhigh)로 돌려 각 게임을 풀고, 80점 미만으로 나온 게임만 각각 Fable 5, Sol을 최대 강도(max)로 다시 돌려서 더 높은 점수를 채택한다. ARC Prize 대표는 이 결과에 대해 소셜미디어에서 "흥미로워 보인다, 더 파봐야겠다"는 반응을 남겼다.
핵심 포인트
- Schema 하네스가 ARC-AGI-3 공개셋에서 +Fable 5 조합 99%, 조합 95.35% 기록
- 모델 가중치는 그대로 두고, 관찰→예측→검증→계획 실행의 처리 과정만 바꿈
- 80점 미만 게임은 더 높은 추론 강도(Fable 5/Sol max)로 재실행해 점수 채택
- ARC Prize 대표가 관심을 표하며 추가 검토 의사를 밝힘