Frugon, 비싼 AI 호출을 싼 모델로 바꿀 곳을 찾아주는 도구
Frugon은 사용 기록을 내 컴퓨터에서 읽고, 어떤 호출을 더 싼 모델로 보내도 될지 계산해 주는 무료 오픈소스 도구다. 만든 사람은 AI를 많이 쓰면서 이 급증했고, 주간 한도가 며칠 만에 바닥나 비용을 두 배로 늘릴 상황이 되자 작업 종류별 비용을 추적하기 시작했다. 그 결과 검색, 훑어보기, 간단한 조사 같은 쉬운 작업에 비싼 모델 비용이 많이 쓰인다는 점을 발견했다.
Frugon은 OpenAI 형식의 로그를 분석해 현재 비용을 보여주고, 다른 모델로 바꿨을 때의 예상 절감액을 비교한다. 로그를 직접 만들 수 없으면 로컬 중간 서버로 호출을 그대로 전달하면서 기록할 수 있고, 이미 기록 시스템이 있으면 한 줄씩 저장된 호출 기록을 넣어도 된다. 기본 분석은 네트워크 없이 로컬에서 끝나며, 선택 기능인 `--measure`는 실제 프롬프트 일부를 후보 모델에 보내 결과를 나란히 비교한다.
`--judge`는 비교 판단을 맡을 모델을 고르는 기능이고, 절감 추정은 가격표, 품질 등급, 연구의 일반 절감 범위를 참고한다. 데모 예시는 5만6100건의 호출에서 월 549.46달러를 343.91달러로 낮춰 37.4%를 줄일 수 있다고 보여주며, 쉬운 호출은 싼 모델로 보내고 어려운 호출은 기존 모델에 남기는 방식이다.
핵심 포인트
- 호출 로그를 로컬에서 분석해 현재 비용과 예상 절감액을 계산한다.
- 검색, 훑어보기, 간단한 조사 같은 쉬운 작업은 더 싼 모델로 돌릴 후보가 될 수 있다.
- 기본 비용 분석은 네트워크 없이 실행되며, 선택적 품질 확인 기능만 실제 후보 모델에 일부 프롬프트를 보낸다.
- 데모에서는 5만6100건 기준 월 549.46달러가 343.91달러로 줄어드는 예시를 보여준다.
- 의 무료 오픈소스 도구이며, 서비스가 아니라 분석과 추천에 초점을 둔다.