저사양 장비에서 Hermes를 함께 쓰는 로컬 인공지능 구성 팁
Ryzen 9 3900 중앙처리장치, 64GB 메모리, 8GB 비디오 메모리를 가진 RTX 4060 그래픽카드에서도 모델을 로컬로 돌릴 수 있다. 의 서버 기능을 쓰고, 일부 작업은 그래픽카드에 맡기며, 긴 문맥 길이와 압축된 캐시 설정을 함께 사용한 구성이다. 이 환경에서는 초당 약 22개 토큰 속도가 나온다.
복잡한 코딩에는 만족도가 낮고, 그런 작업은 Cursor의 Composer2.5나 VS Code의 /Pro가 더 잘 맞는다. Qwen은 가벼운 코딩, 글쓰기, 조사 작업에 쓰이고, Hermes 안에서는 Brave 검색을 붙여 자료 찾기에 활용된다. 을 설정하면 휴대폰과 노트북에서 Hermes와 에 접속할 수 있다.
앞으로 와도 연결하려는 계획이 있다. 비싼 장비가 없어도 연구, 글쓰기, 간단한 질문용 구독 서비스를 줄이는 용도로는 충분히 시도해볼 만한 구성이다.
핵심 포인트
- 8GB 비디오 메모리 그래픽카드와 64GB 메모리 조합에서도 를 실행한 사례다.
- Hermes에 Brave 검색을 붙여 조사와 글쓰기 작업에 활용했다.
- 을 쓰면 휴대폰과 노트북에서 Hermes와 에 접속할 수 있다.
- 복잡한 코딩에는 부족할 수 있어 Cursor나 VS Code의 다른 모델을 함께 쓰는 편이 낫다.
- 비싼 장비나 여러 구독 없이도 가벼운 코딩, 글쓰기, 조사에는 실용적인 구성이 될 수 있다.