로컬 LLM 리그 최적화 글, Hermes Agent는 DeepSeek V4 Flash로 대체한 사례 언급
한 사용자가 RTX 4090 두 장(합계 48GB 그래픽 메모리)과 144GB 램을 갖춘 로컬 AI 서버에서 어떤 모델과 실행 방식이 좋을지 조언을 구했다. 현재는 로 모델(Q5_K_M 양자화, 20만 토큰 문맥)을 돌리고 있는데, 동시에 여러 요청을 처리하지 못하고(1개 요청만 가능), 프롬프트 처리 속도가 느려 긴 문맥에서는 답변이 나오기까지 40초 넘게 기다려야 하는 문제가 있다.
이 모델은 주로 OpenCode(코딩 도구)에 쓰고 있으며, 에도 써봤지만 결과 품질과 속도 면에서 만족스럽지 않아 를 통한 모델로 바꿨더니 더 낫고 빨랐다고 밝혔다. 여러 명이 원격 접속()으로 이 서버를 함께 쓰기 때문에 최소 4~8개의 동시 요청을 처리하고 싶어하며, 이를 위해 MoE(여러 전문가 하위 모델 중 일부만 활성화하는 구조) 방식인 로 전환해 연산 부담 일부를 분산시키는 방안을 고려 중이다.
핵심 포인트
- 듀얼 RTX 4090(총 48GB 그래픽 메모리)+144GB 램 로컬 서버에서 모델 추천을 요청한 글
- 현재 모델을 로 실행 중이며 동시 요청 1개, 긴 문맥에서 40초 이상 지연 문제 있음
- 작업에는 로컬 모델보다 의 가 더 낫고 빨랐다는 경험 공유
- 여러 사용자가 원격()으로 공유하는 서버라 동시 요청 4~8개 처리가 목표
- MoE 구조인 로 전환해 연산 분산을 고려 중