낮은 사양 PC에서 Hermes Agent용 모델 고르기
인텔 i5-10400F, 메모리 16GB, GTX 1650 같은 낮은 사양 PC에서도 를 로컬로 써볼 수는 있다. 다만 이런 환경에서는 그래픽카드가 큰 도움이 되지 않을 수 있고, 답변 속도도 빠르지 않다.
주된 용도는 800쪽 분량의 소설 원고를 마크다운 파일로 정리한 뒤, 장면이나 등장인물 설명처럼 잊어버린 내용을 물어보는 것이다. 여러 모델을 비교했을 때 은 잘 맞지 않았고, 은 대화 초반부터 불안정했으며, 는 없는 내용을 지어내는 문제가 컸다.
는 필요한 작업을 가장 꾸준히 해냈고, 답변 속도도 참을 만한 수준이었다. 낮은 사양에서 에이전트를 돌리는 데 완벽한 선택은 아니지만, 긴 개인 문서를 찾아보고 기억 보조처럼 쓰는 목적에는 가장 쓸 만한 선택으로 보인다.
핵심 포인트
- 인텔 i5-10400F, 메모리 16GB, GTX 1650 환경에서 를 로컬로 사용했다.
- 목표는 800쪽 소설 원고를 마크다운 파일로 만들고, 내용 검색과 기억 보조에 쓰는 것이었다.
- 은 잘 작동하지 않았고, 은 초반 대화부터 불안정했다.
- 는 없는 내용을 지어내는 문제가 컸다.
- 가 가장 꾸준했고, 낮은 사양에서도 답변 속도가 받아들일 만했다.