DeepSWE, 실제 코딩 에이전트 실력을 재는 새 기준
는 최신 가 실제 작업을 얼마나 잘 처리하는지 재기 위한 새 벤치마크다. 과제는 기존 커밋이나 를 고친 것이 아니라 처음부터 새로 만들어져, 모델이 학습 중에 정답을 봤을 가능성을 줄였다.
과제 범위는 5개 와 91개 저장소로 넓다. 입력 프롬프트는 보다 약 절반 길이지만, 정답에는 5.5배 더 많은 코드와 약 2배 더 많은 출력 토큰이 필요하다.
검증기는 구현 방식의 세부 모양보다 가 실제로 올바르게 동작하는지를 확인하도록 사람이 직접 작성했다. 는 오픈소스로 공개되어 누구나 저장소에서 확인하고 사용할 수 있다.
핵심 포인트
- 는 최신 의 실제 작업 능력을 재는 벤치마크다.
- 과제는 새로 작성되어 모델이 학습 중 정답을 봤을 가능성을 낮춘다.
- 91개 저장소와 5개 언어를 포함해 테스트 범위가 넓다.
- 프롬프트는 더 짧지만 정답에는 5.5배 더 많은 코드와 약 2배 더 많은 출력 토큰이 필요하다.
- 검증기는 코드 모양이 아니라 실제 동작을 확인하도록 사람이 직접 만들었다.