실전 작업 벤치마크에서 Codex가 설정 파일 덕을 봤다
과 로 된 실제 업무용 도구, 오래된 코드 수정, 일부러 심어 둔 버그, 단계별 변경 요청 5개로 를 비교했다. , , Codex, Gemini가 같은 요청을 각각 자기 CLI에서 한 번에 처리했다. 기본 설정의 Codex는 91.1점을 받아 빠르기는 했지만, 어려운 최적화 단계에서 완벽한 답까지 가지 못했다.
Codex에 더 오래 최적화하라고 직접 지시했을 때는 정해진 런타임 예산을 넘겨 88.9점으로 떨어졌다. 반대로 작업 습관을 정리한 을 넣었을 때는 Codex가 97.1점을 받아 가장 높고, 가장 빠르고, 가장 저렴했다. 같은 설정으로 다시 돌린 결과도 96.1점이라 우연만은 아니었다.
결론은 단순한 새 프로젝트 문제보다 실제 기존 코드 수정이 더 의미 있는 시험이며, 좋은 지시 파일이 비싼 모델로 바꾸는 것보다 큰 차이를 만들 수 있다는 것이다. 다만 아무 지시 없이도 제한 안에서 증명 가능한 최적해를 찾은 쪽은 뿐이라, 아주 어려운 알고리즘 작업에는 여전히 비싼 모델의 값어치가 있었다.
핵심 포인트
- 실제 / 작업과 기존 코드 수정으로 , , Codex, Gemini를 비교했다.
- 기본 Codex는 91.1점으로 빠르지만, 어려운 최적화 문제를 완벽히 풀지는 못했다.
- 단순히 더 열심히 최적화하라는 지시는 런타임 예산을 넘겨 점수가 88.9점으로 내려갔다.
- 작업 규칙을 담은 을 넣자 Codex가 97.1점과 재시험 96.1점을 기록했다.
- 은 비싸지만, 제한 안에서 최적해를 스스로 찾는 어려운 알고리즘 작업에 강점을 보였다.