오픈소스중요도: 높음

DeepSeek V4 Flash 경량화 파일과 긴 문맥 실행 실험 확산

r/LocalLLaMA2026년 7월 1일 · 11일 전

를 2비트, 3비트, 4비트 GGUF 파일로 돌리려는 실험이 이어지고 있다. 핵심은 큰 인공지능 모델을 더 작은 용량으로 줄여 개인 장비나 작은 서버에서 실행하고, 긴 대화를 처리할 때 드는 메모리와 추론 비용을 낮추는 것이다. 관련 실험들은 vLLM 0.24.0, 수정 브랜치, DSpark, NVFP4, 를 조합해 긴 문맥 처리와 동시 실행 성능을 확인했다.

한 구성은 두 대의 에서 150만 문맥, 300만 KV 토큰 풀, 동시 12개 요청을 목표로 했고, 다른 구성은 단일 Spark 장비에서 REAP으로 가지치기한 NVFP4 가 긴 문맥에서도 처리량을 비교적 일정하게 유지하는지 검증했다. 쪽에서는 수정이 병합된 별도 브랜치가 공유됐고, 정확도 손실을 보기 위해 위키텍스트 기반 값도 비교됐다. 환경에서는 MoE 설정으로 8,192토큰부터 65,536토큰까지 프롬프트 처리 실험이 이뤄졌고, 토큰 생성 속도는 약 22.7에서 21.3토큰/초, 프롬프트 처리 속도는 약 1105에서 927토큰/초 범위로 보고됐다.

다만 MXFP4라고 표시된 배포본과 원본 모델 페이지의 텐서 형식 표기가 맞지 않는다는 지적도 있어, 파일 형식과 실제 내부 정밀도는 확인이 필요하다.

핵심 포인트

  • 의 2비트, 3비트, 4비트 GGUF 파일은 모델 실행에 필요한 메모리를 줄이는 방향이다.
  • 는 긴 문맥을 쓰는 에이전트의 메모리 부담을 줄이는 데 직접 관련이 있다.
  • vLLM, , DSpark, NVFP4 조합으로 긴 문맥과 동시 요청 성능을 실험하는 사례가 늘고 있다.
  • 실험에서는 긴 프롬프트 범위에서도 토큰 생성 속도가 약 21~23토큰/초 수준으로 보고됐다.
  • 파일 형식 표기와 실제 모델 내부 형식이 헷갈리는 사례가 있어 배포본 설명을 그대로 믿기 어렵다.

이 사건을 다룬 원문 (12)

원문 보기 ↗