Claude 업데이트마다 실전 코딩 능력을 다시 확인해야 하는 문제
Claude가 업데이트될 때마다 실제 작업에 여러 시간을 쓰고 많은 을 소비하며 장단점을 다시 파악해야 한다. 다른 이용자의 경험도 찾아보고, 새 모델에 맞춰 작업 방식을 어떻게 바꿀지 직접 알아내야 한다.
Antoc의 와 결과는 참고가 되지만, Claude Code로 어떤 작업을 잘하고 어디서 막히는지는 충분히 보여주지 못한다. 이를 해결할 방법으로, 모든 새 모델과 주요 업데이트에 같은 실전 과제를 적용하는 공개 공동 프로젝트가 제안됐다.
결과를 단순한 우열이 아니라 작업 종류별 강점과 약점, 이전 버전과의 차이를 담은 능력표로 정리하자는 구상이다. 이런 기준이 마련되면 이용자가 업데이트 때마다 들이는 시간과 비용, 시행착오를 줄일 수 있다.
핵심 포인트
- Claude 업데이트마다 실전 장단점을 직접 다시 확인해야 한다.
- 만으로는 작업 종류별 능력을 판단하기 어렵다.
- 모든 버전에 같은 실전 과제를 적용하는 공개 평가 프로젝트가 제안됐다.
- 능력표에는 강점, 약점, 이전 버전과의 차이가 담겨야 한다.