GLM 5.2 코딩 평가: 싸지만 고급 모델 대체는 어려움
는 싼값에 이나 를 대체할 수 있다는 기대를 받았지만, 실제 코딩 작업 50개에서는 그 기대를 충족하지 못했다. 평가는 Go 작업 25개와 Rust 작업 25개로 이뤄졌고, 실제 의 이미 병합된 변경 작업을 기준으로 삼았다. 대상 저장소는 Go 기반의 -go-tools와 Rust 기반의 sqlparser-rs였다.
는 두 저장소 모두에서 결과물 품질이 가장 낮았다. 비용도 가장 싼 편이 아니었고, 두 언어 모두에서 보다 약 2배 비쌌다. 작업을 끝내기까지 에이전트 반복이 더 많이 필요했고, 사람이 작성한 변경량보다 약 1.8배 많은 코드를 바꾸면서도 핵심 수정점을 놓쳤다.
테스트 통과율은 모델별 차이를 잘 가르지 못했기 때문에, 테스트만 통과했다고 좋은 코드라고 보기 어려웠다. 결론은 를 혼자 맡겨도 되는 코딩 도구가 아니라, 사람이 확인해야 하는 초안 도구로 보는 쪽에 가깝다.
핵심 포인트
- 실제 오픈소스 변경 작업 50개로 를 비교했다.
- 는 Go와 Rust 두 저장소 모두에서 품질이 가장 낮았다.
- 비용은 의 약 2배로, 가장 싼 선택지도 아니었다.
- 테스트 통과율만으로는 좋은 결과와 나쁜 결과를 구분하기 어려웠다.
- 는 자동 처리용보다 사람이 검토하는 초안 도구에 가깝다.