AI 에이전트의 반복 실패와 비용 낭비를 막는 도구
Orkaia는 가 같은 실패 동작을 조금씩 바꿔 다시 실행하며 비용을 쓰는 문제를 줄이기 위한 도구다. 도구 이름과 정리된 입력값을 기준으로 같은 동작인지 식별하므로, 말만 바꾼 재시도도 반복으로 잡아낼 수 있다. 같은 동작이 정해진 횟수만큼 반복되면 전체 에 닿기 전에 실행을 끊는다.
각 동작이 쓴 토큰도 따로 기록해, 나중에 어떤 행동이 비용을 만들었는지 바로 볼 수 있다. 로컬에서만 실행되며, 설치는 pip install orkaia로 할 수 있고 가입이나 가 필요 없다. 데이터는 기기 밖으로 나가지 않으며, 로 공개됐다.
현재 A→B→A→B처럼 두 동작이 번갈아 반복되는 경우를 더 잘 잡는 기능이 다음 과제로 남아 있다.
핵심 포인트
- 같은 실패 동작을 반복하는 를 중간에 멈추도록 만든 도구다.
- 도구 이름과 정리된 입력값으로 반복을 판별해, 표현만 바꾼 재시도도 잡는다.
- 동작별 을 기록해 비용 원인을 쉽게 확인할 수 있다.
- 방식이라 , 가입, 외부 데이터 전송이 필요 없다.
- 두 동작이 번갈아 반복되는 경우는 아직 개선 중이다.
이 사건을 다룬 원문 (5)
- r/LLMDevsAI 에이전트의 반복 실패와 비용 낭비를 막는 도구 ↗
- r/LLMDevsEvery time a user hit Stop, our token accounting leaked a little ↗
- r/RagOpen-source loop guard for agents, stops the retry loop that quietly drains your token budget ↗
- r/LLMDevsHow are you preventing runaway AI agent costs in production?? ↗
- r/RagHow do you catch a runaway agent loop before it shows up on the bill? ↗