로컬 Hermes 에이전트 작업 속도 개선을 위한 파라미터 최적화 논의
128GB 메모리를 갖춘 머신에서 모델과 Claude Code를 로컬로 돌려 업무 자동화를 구현한 사용자가, 속도가 너무 느리다는 문제를 공유했다. 주로 모델(Q8 양자화)을 에서 실행하며, 스마트폰 터미널이나 디스코드 게이트웨이를 통해 원격으로 접속한다. GPU 가속(ROCm)이 제대로 작동하지 않아 Vulkan으로 대체해 쓰고 있고, eval_batch_size·physical_batch_size 같은 추론 파라미터를 조정해 봤지만 뚜렷한 개선을 못 느끼고 있다.
프롬프트를 더 잘게 분해하는 방법도 시도했으나 응답 지연은 여전히 크다. 에이전트형 워크플로에서 이 파라미터들이 실제 성능에 어떤 영향을 미치는지 측정하는 좋은 방법이나 자료가 있는지 묻고 있다.
핵심 포인트
- 로컬 머신에서 를 에이전트로 쓸 때 응답이 매우 느릴 수 있으며, 파라미터 조정만으로 해결이 어려울 수 있다
- eval_batch_size·physical_batch_size 같은 추론 파라미터가 속도에 영향을 주지만, 그 효과를 측정할 명확한 기준이 부족하다
- GPU 가속(ROCm)이 실패할 경우 Vulkan으로 대체할 수 있지만 성능 차이가 생길 수 있다
- 프롬프트를 작은 단위로 쪼개는 것도 지연 개선에 한계가 있음을 경험으로 보여준다
- 벤치마킹에 관심 있다면 이 스레드의 후속 답변을 챙겨볼 것