코딩 에이전트 비용을 실제 업무로 비교하려는 테스트
코딩 에이전트를 매달 수백 달러 쓰지 않고도 실무에 쓸 수 있는지 확인하려는 비교 테스트다. 목표는 를 이미 쓰는 상황에서, Claude Code 안에서 의 더 저렴한 API 모델을 쓰면 비슷한 가치를 얻을 수 있는지 보는 것이다. 테스트 대상은 실제 업무용 플러그인이다.
이 플러그인은 PHP, 관리자 화면, WP-CLI 명령, 데이터베이스 테이블, 기존 구조, Git 작업 흐름을 포함한다. 비교 대상에는 , GPT-5.3 Codex, Kimi K2.5, Qwen3 Coder Next, , , Xiaomi Mimo 2.5 Pro, 모델, 무료 모델이 들어간다. 측정 항목은 작업 하나를 끝내는 비용, 걸린 시간, 기존 프로젝트 구조를 얼마나 잘 지키는지, 요구사항을 얼마나 잘 따르는지, 사람이 얼마나 많이 확인하고 허락해야 하는지다.
일반 지식이나 LeetCode식 코딩 문제 점수는 측정하지 않는다.
핵심 포인트
- 목표는 코딩 에이전트 비용을 낮추면서 실무 품질을 유지할 수 있는 조합을 찾는 것이다.
- Claude Code와 를 함께 쓰고, 계정에 연결된 Codex도 비교한다.
- 테스트는 장난감 문제가 아니라 실제 플러그인 코드에서 진행된다.
- 비용, 시간, 기존 구조 준수, 요구사항 준수, 사람의 감독 필요량을 본다.
- 일반 지식이나 LeetCode식 문제 풀이 성능은 평가하지 않는다.