Hermes Agent는 좋아졌지만 로컬 모델이 병목
직접 운영 경험 기준으로, 는 보다 작업 나누기, 대화 압축, 세션 관리가 더 안정적이었다. 구성은 M4 Pro와 24GB 메모리에서 oMLX로 로컬 추론을 돌리고, UGREEN DXP4800 Pro 에서 Docker로 와 SearXNG를 따로 실행하는 방식이었다.
사용 창구는 주로 텔레그램이었고, 처음에는 왓츠앱도 함께 썼다. 로컬 모델은 약 20개 양자화 조합을 시험했으며, Qwen3.5-9B, Gemma 4 26B-A4B, , gpt-oss-20b, 가 포함됐다.
단일 요청에서는 Gemma 4 26B가 Qwen 9B보다 빨랐고, 대략 초당 64 토큰 대 38 토큰 수준이었다. Qwen은 여러 요청을 한꺼번에 처리하는 배칭 상황에서만 앞섰으며, 결국 Hermes 자체보다 로컬 추론 모델이 전체 성능의 한계가 됐다.
핵심 포인트
- 에서 로 옮기자 작업 나누기, 압축, 세션 관리가 더 나아졌다.
- 와 SearXNG를 로 따로 운영했다.
- 주 사용 창구는 텔레그램이었고, 왓츠앱도 초기에 함께 썼다.
- M4 Pro 24GB 메모리에서 oMLX로 여러 로컬 모델을 시험했다.
- 단일 요청에서는 Gemma 4 26B가 Qwen 9B보다 빨랐지만, 배칭에서는 Qwen이 유리했다.