Claude로 AI 에이전트 추적·비용관리 시스템을 직접 만든 사례
를 여러 개 굴릴 때 가장 큰 문제는 속도나 메모리가 아니라, 에이전트가 예상과 다른 엉뚱한 행동을 한 뒤에야 그 사실을 알게 되고 이유도 알 수 없다는 점이다. 그 결과로 30달러짜리 예상치 못한 청구서를 받는 일도 생긴다. 에이전트를 3개 이상 쓰면 이런 추적 불가능 문제와 방향성 부재가 더 심해진다. 이를 해결하기 위해 6개월에 걸쳐 자체 시스템을 만들었다.
이 시스템은 최대 6가지 유형의 (loop)를 감지하고, 이메일 알림으로 즉시 작업을 일시정지할 수 있는 기능을 제공한다. 에이전트의 모든 행동은 특정 카테고리로 분류되고 시간이 기록되어, 정확히 무엇을 하고 있는지 확인할 수 있다. 에이전트들은 시스템을 통해 서로 소통한다. 예를 들어 청구(billing) 에이전트가 가격(pricing) 에이전트의 변경 사항을 자동으로 인지하고 대응하며, 사람이 일일이 작업을 갱신해줄 필요가 없다.
또한 비용 예측 도 만들어, 각 에이전트가 얼마를 쓰고 있는지, 어디서 돈이 새는지 파악할 수 있게 했다. 내장된 루프 감지 시스템은 특정 목표에 대한 작업당 예상 비용을 계산하는 기능도 갖추고 있다.
핵심 포인트
- 여러 를 쓸 때 가장 큰 불만은 속도·메모리가 아니라 에이전트의 예측 불가능한 행동과 그로 인한 뜻밖의 비용
- 6가지 유형의 (loop)를 감지하고 이메일로 즉시 작업을 일시정지시키는 기능 구현
- 모든 에이전트 행동을 분류·시간기록해 무엇을 했는지 정확히 추적 가능
- 에이전트 간 로 소통(예: 청구 에이전트가 가격 변경을 자동 인지)
- 작업별 예상 비용을 계산하는 비용 예측 포함