저사양 GPU에서 Hermes 도구 호출 문제, 로컬 모델 대신 프론티어 모델로 해결
노트북에 탑재된 모바일 4050 GPU( 6GB)로 로컬 모델을 돌려 을 시도했지만 4개 모델 모두 제대로 작동하지 않았다. 모델은 파라미터 수가 많고 도구 API에 맞춰 학습되었을수록 성능이 좋은데, 그런 모델은 대부분 용량이 약 15GB로 6GB 에는 너무 크다. Nous 측에서 '프론티어' 모델 사용을 권장했고, 에서 제공하는 무료 모델 중 쓸 만한 것들이 있어 이를 사용해 문제를 해결했다.
이후 8GB 에 적합한 양자화 모델(hf.co/mradermacher/Qwen3.5-9B-Claude-4.6-HighIQ-INSTRUCT-GGUF:IQ4_XS)도 발견했는데, 이 모델은 컨텍스트 창을 64k까지 늘릴 수 있고 도구 호출도 꽤 잘 작동한다. 6GB 환경에서는 응답에 몇 분 이상 걸릴 수 있다. Ollama는 도구 사용을 지원한다고 명시된 모델을 다른 코드 경로로 처리하는데, 지원하지 않는다고 표시된 모델은 이 경로를 타지 않아 성능이 떨어지는 것으로 보인다.
또한 instruct·· 등 특정 용도로 튜닝된 무료 모델일수록 Hermes와 궁합이 좋다고 언급했다. 6GB보다 낮은 사양을 위한 더 작은 모델(hf.co/mradermacher/-Abliterated-Claude-4.6-Opus--e)도 소개했다.
핵심 포인트
- 모바일 4050(6GB )에서 로컬 모델 4종 모두 도구 호출 실패
- 도구 API 학습된 모델은 보통 15GB 이상이라 저사양 GPU에 부적합
- 해결책: Nous 권장대로 의 무료 프론티어 모델 사용
- 8GB급 대안: Qwen3.5-9B 양자화 모델(IQ4_XS), 컨텍스트 64k까지 확장 가능
- Ollama는 도구 사용 미지원 표시 모델을 다른 코드 경로로 처리해 성능이 떨어짐