Codex와 Pi 코딩 에이전트를 비교할 평가 도구를 찾는 질문
한 개발자가 Codex와 Pi를 로 비교할 수 있는 기존 평가(eval) 프레임워크를 찾고 있다. 나중에 까지 비교 대상에 추가할 수도 있다고 언급한다.
요구사항은 다음과 같다: API 키가 아니라 구독 기반 CLI 접근 방식으로 작동해야 하고(개인적으로 테스트하는 용도라 API 요금이 부담스럽기 때문), 같은 작업을 두 에이전트에 동일하게 실행시킬 수 있어야 하며, 프롬프트·툴 호출·출력·토큰 사용량·실행 시간·최종 diff 등 실행 세부 정보를 가능한 한 많이 기록해야 한다. 목적은 모델 자체뿐 아니라 하네스(도구가 작업을 처리하는 방식)의 동작 차이까지 비교하는 것이다.
테스트나 diff 비교를 통한 커스텀 채점 기능이 있으면 좋지만 현재로선 필수는 아니다. 이런 도구가 이미 존재하는지, 아니면 두 CLI를 감싸는 커스텀 래퍼를 직접 만들어야 하는지 묻고 있다.
핵심 포인트
- Codex와 Pi를 하네스로 비교할 평가 프레임워크를 찾는 요청
- API 키가 아닌 구독 기반 CLI 접근을 요구사항으로 명시(개인 테스트라 부담)
- 프롬프트, 툴 호출, 토큰 사용량, 실행 시간, 최종 diff 등 상세 실행 로그 기록이 목표
- 모델 차이뿐 아니라 하네스 자체의 동작 차이 비교가 핵심 관심사
- 향후 도 비교 대상에 추가할 가능성을 언급