쓸 때만 GPU 비용을 내는 오픈소스 모델 라우터
AI 앱을 만들 때 를 월 단위나 시간 단위로 빌리면, 실제로는 하루 대부분을 놀리면서도 계속 비용을 내야 한다. Lexora는 전용 서버를 빌리는 대신, 요청한 을 이미 올려 둔 GPU 노드로 바로 연결해 주는 다.
Llama 3.2나 FLUX.1 같은 으로 API 요청을 보내면, 네트워크 안의 사용 가능한 GPU가 텍스트나 이미지를 생성한다. 비용은 GPU가 실제로 생성 작업을 하는 시간만큼만 내는 방식이다.
모델이 제공자 노드에 미리 준비되어 있어, 컨테이너가 켜질 때까지 기다리는 를 줄이는 것을 목표로 한다. 현재 10명의 가 무료로 테스트하며 라우팅 품질을 다듬고 있다.
핵심 포인트
- 전용 GPU 서버를 빌리지 않고 요청별로 GPU를 쓰는 방식이다.
- Llama 3.2와 FLUX.1 같은 요청을 네트워크의 GPU 노드로 보낸다.
- GPU가 실제로 텍스트나 이미지를 생성한 시간만 비용을 내는 구조를 내세운다.
- 모델을 미리 준비해 두어 를 줄이려 한다.
- 현재 10명의 가 무료로 테스트 중이다.