RTX 4060에 RTX 5080을 더해 로컬 추론 속도를 높이려는 고민
RTX 4060 8GB로 -35B-A3B Q8 모델을 로컬 추론에 쓰고 있지만 속도가 부족하다. 품질을 위해 가중치, 값, 키를 모두 Q8로 두고, 에이전트마다 최대 6만 컨텍스트를 쓰며, 부족한 는 CPU와 로 오프로딩하고 있다. 컨텍스트가 아직 낮을 때도 처리 속도는 대략 100pp, 생성 20tg 수준이다.
Q4 가중치로 낮추면 생성 속도가 약 30tg까지 오르지만 품질이 낮아져 Q8을 선호한다. 더 높은 품질을 위해 를 최소 Q4~Q6으로 돌리면서도 20tg 이상, 가능하면 30~40tg 이상을 원한다. 동시에 성능이 많이 필요한 PCVR 게임도 하므로 작은 그래픽카드 여러 장보다 큰 그래픽카드 한 장이 필요하다.
현재 메인보드는 PCIe 5 x16 슬롯과 PCIe 3 x16 슬롯을 쓸 수 있고, 몇 달 안에 RTX 4060을 보조 슬롯으로 옮긴 뒤 새 RTX 5080을 주 슬롯에 넣는 구성을 생각하고 있다. 업그레이드 예산은 그래픽카드와 새 를 합쳐 1,500~2,000유로이며, 낮은 쪽 가격대가 더 부담이 적다.
핵심 포인트
- RTX 4060 8GB에서 -35B-A3B Q8을 에이전트용 로컬 추론에 사용하고 있다.
- 에이전트당 최대 6만 컨텍스트를 쓰며 CPU와 로 오프로딩한다.
- 현재 속도는 낮은 컨텍스트에서도 대략 100pp, 생성 20tg 수준이다.
- Q4 가중치는 약 30tg까지 빨라졌지만 품질 저하 때문에 선호하지 않는다.
- RTX 5080을 새로 넣고 RTX 4060을 보조 슬롯으로 옮기는 구성을 1,500~2,000유로 예산 안에서 검토하고 있다.