여러 사람의 GPU를 묶어 AI 답변 비용을 낮출 수 있을까
여러 사람이 가진 그래픽카드를 인터넷으로 묶어 거대한 AI 추론 엔진처럼 쓰자는 아이디어가 논의됐다. 목적은 SETI@home처럼 남는 을 모아 사회적으로 유용한 일을 하자는 것이다. 이미 비슷한 방향의 시도로 Petals가 있으며, BOINC 같은 공개 도 작업을 여러 컴퓨터에 나눠 보내는 틀로 쓸 수 있다.
다만 실시간 대화형 AI에는 큰 약점이 있다. 답변을 만들 때마다 여러 컴퓨터 사이를 오가야 해서 이 쌓이고, 빠른 응답을 원하면 효율이 낮아진다. 많은 요청을 한꺼번에 묶는 배치 처리를 하면 처리량은 커질 수 있지만, 사용자는 완성된 답변을 받기까지 30~60초 또는 몇 분 이상 기다릴 수 있다.
요즘은 값싼 을 사는 편이 개인이 전기를 써서 분산망에 참여하는 것보다 비용이 낮을 수 있다는 지적도 나왔다. 그래서 보다, 결과 확인이 쉽고 긴 시간이 허용되는 데이터셋 생성이나 분산 학습 쪽이 더 맞는 용도일 수 있다.
핵심 포인트
- 개인 GPU를 모아 AI 답변을 처리하는 아이디어가 논의됐다.
- Petals처럼 이미 비슷한 분산 AI 실행 시도가 존재한다.
- 에서는 컴퓨터 사이 통신 때문에 이 크게 늘 수 있다.
- 배치 처리는 처리량을 높일 수 있지만, 완성 답변까지 기다리는 시간이 길어진다.
- 현재는 값싼 API 사용이 전기료와 운영 복잡도보다 나을 수 있다는 의견이 나왔다.