에이전트 성능과 토큰 비용을 재는 오픈소스 실험 도구

Agent Behavior Lab은 도구를 쓰는 LLM 에이전트의 행동을 같은 조건에서 반복 시험하는 MIT 라이선스 오픈소스 도구다. 프롬프트, 도구, 역할, 이전 대화 같은 요소 중 하나만 바꾸고 나머지는 그대로 둔 뒤 여러 번 실행해 실제 차이를 본다. 결과는 안전 문제와 행동 실패율, 요소별 열지도, 효과 크기와 신뢰 구간 같은 지표로 묶어 보여준다.

판정 방식은 고정 규칙으로 만들 수도 있고 다른 언어 모델에게 맡길 수도 있다. OpenAI 호환 엔드포인트를 지원해 여러 모델이나 제공자를 바꿔가며 시험할 수 있다. React 19, Vite, TanStack Query, Express, Prisma, PostgreSQL, Docker Compose로 구성됐고, 예제 데이터가 있어 바로 대시보드를 채울 수 있다.

관련 논의에서는 새 모델이 정말 나은지, 에이전트를 감싸는 실행 도구가 결과를 바꾸는지, 겉으로 보이는 토큰 수 뒤에 하위 에이전트가 숨겨 쓴 토큰이 있는지 확인해야 한다는 문제가 함께 드러났다. 한 사례에서는 표면상 5만6000 토큰으로 보인 실험 뒤에 하위 에이전트가 20만5800 토큰을 더 쓴 것으로 나타나, 비용 비교가 쉽게 왜곡될 수 있음을 보여준다.