RTX 4070 PC에서 Hermes Agent용 로컬 모델을 고르는 조건
Ryzen 7 5700X, 64GB, 12GB, SSD 2TB인 PC에서 로 를 하려는 구성이다. 기본 설정에서는 매개변수 120억 개 규모의 모델까지 구동할 수 있다.
설정을 바꾸면 더 큰 모델도 실행하면서 긴 결과를 만들 수 있다고 알려졌지만, 검증된 설정이나 측정 결과는 제시되지 않았다. 필요한 기능은 추론, 이미지 인식, 음성을 글자로 바꾸기, 복잡한 문제 해결, 깊이 있는 인터넷 조사, 조사 자료 정리와 구축이다.
가끔 로컬에서 코드도 만들고자 한다. 목표 품질은 의 약 80~85%이며, 이 장비에 맞는 구체적인 모델과 설정은 아직 정해지지 않았다.
핵심 포인트
- PC 사양은 Ryzen 7 5700X, 메모리 64GB, 12GB, SSD 2TB다.
- 기본 설정으로 매개변수 120억 개 규모의 모델까지 실행할 수 있다.
- 설정을 조정해 더 큰 모델과 긴 결과 생성을 함께 지원하는 방법을 찾고 있다.
- 이미지와 음성 처리, 인터넷 조사, 자료 정리, 복잡한 문제 해결이 주요 요구 사항이다.
- 로컬 코드 작성과 대비 80~85% 수준의 결과 품질을 목표로 한다.