6개 P40 그래픽카드로 큰 로컬 AI 모델을 돌린 실험
M2.7_Q3_XL 모델을 집 안 서버에서 6개의 P40 로 실행한 실험이다. 장비는 Asus X99-E-WS 메인보드, Xeon E5-2680 v4 2.40GHz CPU, 128GB , SSD, P40 6개로 구성됐다.
P40 6개를 합쳐 총 144GB 를 썼고, 메인보드는 여러 를 쓰기 위해 BIOS를 수정했다. 32,768 토큰 문맥에서는 기본 설정에서 입력 처리와 답변 생성이 비교적 빠르게 나왔지만, 65,536 토큰과 126,720 토큰으로 문맥을 늘리면 속도가 크게 떨어졌다.
Q8 KV 설정은 같은 긴 문맥에서 F16 KV보다 답변 생성이 더 느렸고, 126,720 토큰에서는 약 12.8% 느린 결과가 나왔다. 를 2048에서 1024로 줄이고 작은 배치를 512에서 256으로 줄인 설정은 32,768 토큰에서 입력 처리 속도를 높이는 데 도움이 됐다.
핵심 포인트
- P40 6개로 총 144GB 를 확보해 큰 을 실행했다.
- 문맥이 32,768 토큰에서 126,720 토큰으로 커지면 처리 속도가 크게 낮아졌다.
- Q8 KV는 긴 문맥에서 F16 KV보다 답변 생성이 느렸다.
- 126,720 토큰 문맥에서는 Q8 KV의 생성 속도가 약 12.8% 낮았다.
- 조정은 짧은 쪽 문맥에서 입력 처리 속도를 개선했다.