GPU 제공업체를 함께 써 AI 응답 지연과 연산 비용 줄이기
GPUHedge는 에서 AI 모델을 실행할 때 긴 대기 시간을 줄이는 오픈소스 도구다. 17GB AI 모델 시험에서 기본 제공업체의 요청은 보통 6~8초 만에 끝났지만, 새 GPU를 준비하는 가 생기면 90~122초까지 걸렸다. GPUHedge는 먼저 기본 제공업체에 요청을 보내고 작업 상태를 살피다가, 정해진 조건에 따라 예비 제공업체에도 같은 요청을 보낸다.
검증을 통과한 첫 결과를 사용하고 나머지 작업은 해당 제공업체의 API로 취소한다. 요청을 시작한 뒤 10초가 지나면 Cerebrium에도 요청하는 방식으로 36건을 시험한 결과, 이 116.6초에서 29.4초로 줄었다. 60초를 넘긴 요청은 36건 중 11건에서 0건으로 감소했다.
추정 활성 연산 비용도 요청당 0.0114달러에서 0.0083달러로 낮아졌다. 이 도구는 로 공개됐으며 아직 알파 단계이고, 실제 제공업체 계정이나 비용 없이 정책 기능을 시험할 수 있다.
핵심 포인트
- 기본 제공업체가 늦어질 때만 예비 제공업체에 같은 요청을 보낸다.
- 검증을 통과한 첫 결과를 채택하고 늦은 작업은 취소한다.
- 36건 시험에서 이 116.6초에서 29.4초로 줄었다.
- 60초 초과 요청은 11건에서 0건으로 감소했다.
- 추정 활성 연산 비용은 요청당 0.0114달러에서 0.0083달러로 낮아졌다.