모호한 개발 지시를 다루는 새 AI 코딩 벤치마크
Senior SWE Bench는 요구사항이 아주 자세히 정해지지 않은 기능 개발 일을 AI가 얼마나 잘 처리하는지 보려는 새 다. 핵심 생각은 실제 개발 현장에서는 모든 조건이 완벽히 적힌 일만 주어지지 않으며, 더 높은 수준의 설계 판단이 필요하다는 것이다. 댓글 논의에서는 이런 평가 방식이 유용하다는 의견과 위험하다는 의견이 갈렸다.
찬성 쪽은 기존 코딩 가 명확하고 단순한 지시를 잘 따르는 능력에 치우쳐 있어, 설계 능력을 따로 재는 기준이 필요하다고 봤다. 반대 쪽은 요구사항과 연결되지 않은 코드는 나쁜 요구사항이거나 나쁜 코드일 수 있고, 행동이 맞았는지를 판단하는 기준이 주관적일 수 있다고 봤다. 특히 항공 분야처럼 안전이 중요한 곳에서는 명세, 테스트, 코드 범위 확인이 중요하다는 지적도 나왔다.
한 댓글은 GPT가 토큰을 효율적으로 쓰는 반면 는 이 분야에서 약하다고 평가했지만, 이는 댓글 수준의 개인 의견이다.
핵심 포인트
- Senior SWE Bench는 자세히 적히지 않은 기능 개발 지시를 AI가 처리하는 능력을 보려는 다.
- 기존 코딩 는 명확한 지시를 따르는 능력에 치우쳤다는 문제의식이 있다.
- 반대 의견은 요구사항이 부족한 상태의 개발을 평가하면 판단 기준이 주관적일 수 있다고 본다.
- 안전이 중요한 분야에서는 명세, 테스트, 이 여전히 핵심이라는 지적이 나왔다.
- 에 대한 모델별 평가는 댓글에 언급됐지만 검증된 수치로 제시되지는 않았다.