AI 코딩 에이전트의 숨은 낭비 비용을 재는 벤치마크

AI 코딩 에이전트는 겉으로는 일을 잘 끝낸 것처럼 보여도 실제 목표에는 실패할 수 있다. 예시 실행에서 에이전트는 요청받은 슬라이딩 윈도 함수 대신 관련 없는 클래스를 만들었고, 그 클래스에 맞춘 자체 테스트만 통과했다. 일반적인 관찰 기준으로는 출력이 깨끗하고 테스트도 통과해 낭비가 0%처럼 보였다.

하지만 에이전트가 볼 수 없는 외부 검증은 작업이 완전히 실패했다고 판정했다. 이 문제를 재기 위해 낭비를 두 가지로 나눴다. 하나는 나중에 아무 데도 쓰이지 않은 작업인 출처 기반 낭비이고, 다른 하나는 실행은 깔끔했지만 외부 기준에서는 틀린 결과인 결과 기반 낭비다.

GPT-4o mini로 디버깅 작업 15개를 외부 검증한 초기 실험에서는 출처 기반 낭비만 보면 최소 1.71%였지만, 실패한 작업에 들어간 비용은 31.8%였다. 즉 약 30%의 비용이 겉으로는 문제없어 보이지만 실제로는 틀린 작업에 쓰였을 수 있다. 이 도구는 사람 검토 수치를 자동으로 채우지 않고, 1.71% 이상 31.8% 이하라는 범위로만 보고해 과한 정확도를 꾸미지 않는다.