GLM 5.2·MiniMax M3, 코딩 에이전트 평가에서 Sonnet과 근접
Tessl이 약 1,000개의 코딩 으로 GLM 5.2, , -code, Qwen 3.7-Plus, 을 비교했다. 각 작업은 두 번 실행됐다. 한 번은 기본 상태로, 한 번은 관련 skill을 불러온 상태로 실행됐다. skill은 에서 가져왔고, 작업과 평가는 의 task-evals-for-skills 데이터셋에 공개돼 있다.
전체 점수는 GLM 5.2가 91.9점, 가 91.4점, 이 90.8점이었다. 작업당 비용은 GLM 5.2가 0.289달러, 가 0.207달러, 이 0.296달러였다. GLM 5.2는 Sonnet보다 전체 점수가 조금 높고 비용은 조금 낮았다. 는 Sonnet보다 0.6점 낮았지만 비용은 약 30% 낮았다.
모든 모델은 관련 skill을 받았을 때 약 20점 안팎으로 점수가 올랐고, 은 24.4점으로 가장 큰 상승을 보였다. 이 벤치마크는 Tessl 직원이 공개한 결과라서, 평가 방식과 작업 구성을 함께 봐야 한다.
핵심 포인트
- 약 1,000개의 코딩 에서 5개 모델을 비교했다.
- GLM 5.2는 전체 점수 91.9점으로 의 90.8점보다 조금 높았다.
- 는 과 거의 비슷한 점수였고 작업당 비용은 약 30% 낮았다.
- 관련 skill을 제공하자 모든 모델의 점수가 약 20점 안팎으로 올랐다.
- 평가를 진행한 곳은 Tessl이며, 결과 해석에는 평가 주체와 방식에 대한 확인이 필요하다.