OmniRoute, 여러 AI 모델을 한곳에서 바꾸어 쓰는 관문 공개

도구가 여러 AI 제공사를 한 주소로 호출하게 해 주는 자체 운영 관문이다. 방식이라 기존 도구를 크게 고치지 않고 `:20128/v1` 같은 한 엔드포인트로 연결할 수 있다. 지원 대상은 237개 제공사이며, 이 중 90개 이상은 무료 사용 경로가 있다.

핵심 기능은 작업 중 한 제공사가 오류를 내거나 에 걸려도 다음 모델로 빠르게 넘기는 자동 대체다. 모델 순서는 유료 구독, 보유한 API 키, 저렴한 모델, 무료 모델처럼 단계별로 짤 수 있다. 또 코드 차이, 테스트 로그, 빌드 결과처럼 AI가 길게 읽어야 하는 도구 출력물을 줄여 토큰 사용량을 60~90% 낮추는 압축 흐름을 넣었다.

라우팅 방식은 우선순위, 가중치, 순환, 비용 최적화 등 17가지를 제공하고, 죽은 키나 불안정한 모델이 전체 작업을 망치지 않도록 제공사·키·모델 단위의 차단 장치도 둔다. 프로젝트는 가능하고 로 공개됐다.

핵심 포인트

  • 는 여러 AI 제공사를 하나의 뒤에 묶는다.
  • 237개 제공사를 지원하며 90개 이상은 무료 사용 경로가 있다.
  • 제공사 오류나 이 생기면 미리 정한 다음 모델로 자동 대체한다.
  • 도구 출력물 압축으로 토큰 사용량을 60~90% 줄이는 것을 목표로 한다.
  • 를 앞세운 오픈소스 프로젝트다.

이 사건을 다룬 원문 (7)

원문 보기