Leangetic, AI 에이전트 비용을 줄이는 로컬 우선 도구
getic은 운영 중인 가 비싸고 느리거나 통제하기 어려워질 때 비용을 낮추도록 돕는 도구다. 많은 에이전트는 파싱, 경로 선택, 검증, 형식 맞추기, 재시도, 반복되는 문맥 처리처럼 규칙으로 처리할 수 있는 일에도 LLM을 계속 부른다. getic은 에이전트가 실제로 어떻게 실행되는지 관찰하고, 비용이 크거나 반복되는 을 찾아낸다.
그다음 안전한 부분은 로 바꾸고, AI 판단이 필요한 부분은 더 작고 집중된 로 남긴다. 필요한 곳에는 캐싱, 프롬프트 압축, 도 적용한다. 원래 에이전트는 직접 바꾸지 않으며, 로컬 CLI가 그림자 모드로 먼저 실행된다.
자체 트래픽에서 비용이 더 낮고 품질이 같거나 더 좋다는 점이 확인된 뒤에만 변경이 승격된다. 의심스러운 경우에는 원래 에이전트로 되돌아가고, 즉시 롤백할 수 있다.
핵심 포인트
- 규칙으로 처리할 수 있는 작업까지 LLM을 부르는 비용 낭비를 줄이려 한다.
- 실행 흐름을 관찰해 비싸고 반복되는 을 찾는다.
- 안전한 부분은 로 바꾸고, 필요한 부분만 작은 로 남긴다.
- 캐싱, 프롬프트 압축, 을 상황에 맞게 적용한다.
- 그림자 모드, 원래 에이전트 복귀, 즉시 롤백으로 변경 위험을 낮추려 한다.