에이전트 하니스 선택이 토큰 비용을 최대 80%까지 좌우한다는 벤치마크
장시간 실행되는 실제 코딩 작업을 기준으로 여러 (구성)를 비교한 결과가 공개됐다. 을 전혀 쓰지 않은 기본 설정은 총 666만 토큰, 완료율 78.85%, 62.5라운드, 895초가 소요됐다.
특정 (풀 훅+스킬 조합)을 추가하자 완료율은 소폭 올라갔지만(80.77%) 토큰은 오히려 7.56% 줄고 소요시간도 8.87% 단축됐다. 반대로 다른 (RTK)을 추가하니 완료율은 76.92%로 떨어지면서 토큰은 13.2%, 소요시간은 44%나 늘어 사실상 손해였다.
별도로 진행한 대규모 (60개 작업)에서는, 균형 잡힌 하니스 설정이 48/60(80%) 통과율에 약 2,300만 토큰(추정 비용 221달러)을 쓴 반면, 하이 설정은 통과율 60%에 그치면서도 토큰은 4억 5천만 개 넘게 써서 비용이 327달러에 달했다. 즉 좋은 하니스 설계는 완료율을 높이면서 은 80% 이상 아낄 수 있다는 것이 핵심 주장이다.
핵심 포인트
- 없는 기본 설정: 666만 토큰, 완료율 78.85%, 895초 소요
- 특정 조합 추가 시 토큰 7.56%↓, 시간 8.87%↓, 완료율은 소폭 상승
- 다른 (RTK) 추가 시 토큰 13.2%↑, 시간 44%↑, 완료율은 오히려 하락
- 60개 작업 에서 균형형 하니스가 80% 통과율에 약 221달러로 가장 효율적
- 하이 설정은 통과율 60%에 그치면서 비용은 327달러로 더 높았음