hermes-agent는 로컬 모델 선택과 설정이 성패를 가른다
은 재미와 학습에는 좋지만, 실제 작업에서는 설정에 시간이 많이 들어갈 수 있다. 이미지에서 영상 만들기, 글에서 이미지 만들기, 코딩, 음성 만들기, LoRA 학습까지 여러 작업을 해도, 알맞은 , 양자화, 설정을 찾느라 결과를 내기 전에 시간이 소모될 수 있다. 실제로는 간단한 코드 디버깅이나 새 기능의 거친 초안을 만드는 정도에는 도움이 된다.
그 밖의 작업은 무료 웹 모델이나 을 쓰는 편이 더 빠르고 결과도 나을 수 있다. 를 과 함께 쓸 때도 모델에 따라 중간에 멈추는 일이 생긴다. 16GB와 8GB VRAM을 가진 그래픽카드 2개 환경에서도 안정적이지 않을 수 있으며, 는 괜찮아 보이지만 Q8과 256k 컨텍스트로 돌려야 제대로 쓸 만하다는 판단이다.
중간 규모 이상의 작업은 구독 서비스나 무료 웹 도구 한도를 쓰는 편이 시간 대비 효율이 좋을 수 있다.
핵심 포인트
- 는 에 따라 작업 중 멈출 수 있다.
- 은 , 양자화, 설정을 맞추는 데 시간이 많이 들 수 있다.
- 간단한 코드 디버깅이나 새 기능의 초안 만들기에는 어느 정도 도움이 된다.
- 16GB와 8GB VRAM 그래픽카드 2개로도 중간 규모 작업은 불안정할 수 있다.
- 는 Q8과 256k 컨텍스트 수준이 필요할 수 있어 장비 부담이 크다.