4장짜리 16GB 그래픽카드로 만든 개인용 로컬 LLM 실험실
개인용 서버가 16GB 그래픽카드 4장으로 구성되어 있다. 일반 서버 랙 대신 주방 선반 같은 구조에 장비를 쌓아 올렸고, 메인 슬롯 분할과 라이저 케이블을 이용해 여러 그래픽카드를 연결했다. 이 장비는 두 개를 동시에 돌리며, Qwen 모델을 낮은 용량 형식으로 실행한다.
각 실행 환경은 약 15만 토큰 길이의 문맥을 다루도록 맞춰져 있고, 입력을 읽는 속도는 초당 약 1,000토큰, 답을 생성하는 속도는 초당 약 45~60토큰이다. 는 i5이고 메모리는 32GB DDR4지만, 실제 모델 실행은 대부분 에서 처리된다. 로 실행 관리와 토큰 계산을 하는 백엔드를 만들었고, 거친 계산으로는 이미 약 60달러를 아낀 것으로 추정된다.
아직 버그가 많고, 앞으로는 그래픽카드 일부에는 병렬 작업 2개를, 다른 일부에는 병렬 작업 1개를 배정해 요청을 알맞은 서버로 보내는 라우터를 만들려는 단계다.
핵심 포인트
- 16GB 그래픽카드 4장으로 개인용 서버를 구성했다.
- 두 개를 동시에 실행해 Qwen 모델을 돌린다.
- 입력 처리 속도는 초당 약 1,000토큰, 생성 속도는 초당 약 45~60토큰으로 측정됐다.
- 로 실행 관리와 토큰 계산 백엔드를 만들었다.
- 거친 계산상 유료 사용 비용 약 60달러를 아낀 것으로 추정된다.