맥에서 큰 Deepseek 4 flash 모델을 로컬로 실행한 사례
M3 Max 칩과 96기가바이트 메모리를 가진 맥에서 를 직접 실행할 수 있었다. Antirez의 전용 실행 엔진과 ds4 gguf 파일을 쓰고, 실행할 때 `--ssd-` 옵션을 켜야 했다. `iogpu.wired_limit_mb=86016` 설정으로 에 더 많은 메모리를 배정한 상태에서 동작했다.
저장소 코드를 고쳐 캐시 안전 여유값을 0.70으로 늘리면, 더 많은 전문가 부분을 에 올려 보려는 실험도 가능했다. 속도는 대략 초당 11~13토큰이었다. 완전히 새로 켠 뒤 빈 Jan 어시스턴트 채팅에서 시작까지 약 10초가 걸렸고, 이후 첫 응답 대기 시간은 약 3~5초였다.
다만 긴 입력을 먼저 읽는 단계는 답답할 만큼 느려, 계속 쓸지는 확실하지 않았다. 간단한 형태의 데몬을 만들어 에서 바로 서버를 켜는 방식도 약 20분 만에 만들 수 있었다.
핵심 포인트
- M3 Max와 96기가바이트 메모리 맥에서 실행 사례다.
- Antirez의 전용 엔진과 ds4 gguf 파일, `--ssd-` 옵션을 사용했다.
- 측정된 생성 속도는 대략 초당 11~13토큰이었다.
- 완전한 첫 실행은 약 10초, 이후 첫 응답 대기 시간은 약 3~5초였다.
- 긴 입력을 처리하는 단계는 느려서 실제 사용성에는 제한이 있다.