OpenAI, 코딩 AI 평가 기준의 큰 결함 공개
OpenAI는 AI 코딩 능력을 재는 데 널리 쓰인 를 점검해 약 30%의 과제가 깨져 있다고 봤다. 공개 과제 731개에서 의 통과율은 8개월 만에 23.3%에서 80.3%로 뛰었지만, 그 숫자가 실제 실력 향상만을 뜻한다고 보기 어렵다는 뜻이다. 자동 점검 절차는 200개 과제, 즉 27.4%를 문제 있는 과제로 표시했고, 사람 검토에서는 249개, 즉 34.1%가 문제로 분류됐다.
주요 결함은 네 가지였다. 테스트가 너무 좁게 정답 방식을 강요하거나, 문제 설명이 부족하거나, 테스트가 느슨해 불완전한 답도 통과하거나, 설명과 실제 채점 기준이 서로 어긋나는 경우였다. OpenAI는 Codex 기반 조사 에이전트와 숙련된 소프트웨어 엔지니어 5명의 검토를 함께 사용했다.
결론적으로 OpenAI는 예전에 권했던 사용 권고를 거둬들였고, 성능 발표를 볼 때 이 벤치마크 결과를 조심해서 해석해야 한다고 했다.
핵심 포인트
- 과제의 약 30%가 채점 기준으로 쓰기 어렵다고 평가됐다.
- 자동 점검은 731개 공개 과제 중 200개를 문제로 표시했고, 사람 검토는 249개를 문제로 봤다.
- 문제 유형은 너무 엄격한 테스트, 부족한 문제 설명, 허술한 테스트, 잘못 이끄는 설명이었다.
- OpenAI는 Codex 기반 조사 에이전트와 숙련된 엔지니어 검토를 함께 사용했다.
- OpenAI는 사용 권고를 철회했다.