두 그래픽카드로 Qwen3.6-27B 속도를 40%가량 높인 설정
모델을 Q8_0 형식으로 돌릴 때, 과 Ti를 함께 쓰면 초당 약 100개 토큰을 만들 수 있었다. 이전에는 레이어 분할 방식으로 초당 70개 이상 수준이었지만, 서버에서 분할 방식을 텐서 분할로 바꾸자 속도가 크게 올랐다. 텐서 분할은 두 그래픽카드가 같은 계산 덩어리를 나눠 처리하게 해, 빠른 카드와 느린 카드를 함께 쓸 때 빈 시간이 줄어든다.
계산 성능 차이를 맞추기 위해 에 70%, Ti에 30%를 맡기는 비율을 썼다. 프롬프트에 따라 속도는 달라졌고, 어떤 경우에는 초당 130개 토큰까지 나왔다. 대신 실행 중 두 그래픽카드가 계속 강하게 일하면서 카드만 750와트 이상을 쓰기 때문에 전기 사용량과 발열이 크다.
설정에는 큰 문맥 크기, 2개, 그래픽카드 레이어 99개, 메모리 고정 같은 옵션이 포함됐다.
핵심 포인트
- Q8_0을 과 Ti 두 장으로 실행했다.
- 레이어 분할에서 텐서 분할로 바꾸자 초당 70개 이상에서 약 100개 토큰으로 올랐다.
- 과 Ti의 역할 비율은 70 대 30으로 맞췄다.
- 프롬프트에 따라 처리 속도는 달라졌고, 최대 초당 130개 토큰까지 나왔다.
- 두 그래픽카드가 실행 중 750와트 이상을 써서 발열과 전기료 부담이 크다.