Hermes 에이전트 사용 전 비용 폭주를 막는 기본 점검
와 에이전트를 텔레그램과 연결해 실행하자 처음에는 도구를 쓰고 작업을 처리하는 흐름이 정상적으로 보였다. 하지만 밤새 실행한 뒤에는 에이전트가 더 이상 텔레그램에 응답하지 않았고, 원인은 할당량 초과였다.
사용량이 예상보다 크게 늘어 이 아무 조치도 하지 않았을 때보다 약 6배까지 커졌다. 가능한 원인으로는 에이전트가 한 작업에서 반복 실행됐거나 같은 파일을 여러 번 다시 읽은 상황이 제시됐다.
원시 로그를 직접 뒤지는 방식은 문제를 찾기 어렵게 느껴졌고, 대안으로 애플리케이션과 제공자 사이에 프록시를 두어 프롬프트를 압축하는 구조가 떠올랐다. 이 구조에는 같은 요청을 빠르게 재사용하는 L1 정확 일치 캐시 같은 여러 단계의 캐시가 포함됐다.
핵심 포인트
- 를 밤새 실행하면 반복 작업 때문에 사용량이 크게 늘 수 있다.
- 텔레그램 응답 중단의 직접 원인은 할당량 초과였다.
- 이 예상보다 약 6배 커진 사례다.
- 같은 작업이나 같은 파일을 반복 처리하는지 감시해야 한다.
- 프록시와 캐시는 요청 재사용과 프롬프트 압축으로 비용을 줄이는 보조 수단이 될 수 있다.