오래된 P40 GPU에서 350억 파라미터 모델을 초당 80토큰으로 구동
한 사용자가 엔비디아 P40(VRAM 24GB) 한 장으로 350억 파라미터 모델을 UD Q4_K_M이라는 압축 방식(양자화)으로 돌려 초당 80토큰의 속도를 냈다. 의 라는 개조판(포크)을 사용했고, 컨텍스트(모델이 한 번에 기억하는 대화 범위)를 10만 토큰까지 확보했다.
다만 이 속도는 순간적인 최대치(버스트)이며 지속 속도는 아니다. 에이전트 품질을 지키기 위해 를 한 단계 더 압축하는 Turbo2까지는 가지 않았고, 추론(생각) 기능을 켜면 모델이 같은 생각을 반복하는 루프에 빠져 이를 꺼두었다.
이미지 인식 기능(비전)을 아예 불러오지 않아 VRAM 약 300MB를 아꼈고, 그 덕분에 10만 토큰 전체 컨텍스트를 이 GPU 한 장에 담을 수 있었다. 실행에 사용한 명령어와 세부 설정값(, GPU 레이어 수, 스레드 수 등)도 함께 공유됐다.
핵심 포인트
- 엔비디아 P40(VRAM 24GB) 한 장으로 350억 파라미터 모델을 초당 80토큰으로 구동
- 라는 개조판과 UD Q4_K_M 양자화 방식 사용
- 비전(이미지 인식) 기능을 빼서 VRAM을 아끼고 10만 토큰 컨텍스트 확보
- 추론 기능은 반복 루프 문제로 비활성화