Hermes Agent를 로컬에서 돌리며 확인해야 할 설정과 한계
환경은 우분투, 24GB , 도커, Ollama, , 와 으로 구성했다. Qwen과 gpt-oss 모델을 시험했으며, 두 번째 실행 도구로 도 추가하고 있다. 직접 운영하면 개인정보를 외부로 보내지 않고 사용량에 따른 API 요금을 피할 수 있다.
동시에 모델과 양자화 방식 선택, VRAM 한도와 처리 가능한 문맥 길이의 균형, 컴퓨터 경로와 컨테이너 경로의 차이, 데이터 보존 위치를 직접 관리해야 한다. 에는 파일을 읽거나 쓸 수 있는 범위와 권한을 명확히 정해야 하며, 기록 확인, 모델 불러오기, 오류 복구 방법도 준비해야 한다. 로컬 운영에도 그래픽카드 구매비, 전기료, 설정 시간이 들고, 24GB VRAM에는 모델 전체를 올릴 수 있는 크기 제한이 있다.
더 강한 추론이나 긴 문맥이 필요하거나 로컬에서 실행할 수 없는 모델이 필요할 때는 을 함께 사용한다. 핵심은 한 대의 으로 모든 서비스를 대신하는 것이 아니라, 비공개 또는 반복 작업은 로컬에서 처리하고 필요에 따라 클라우드를 선택하는 것이다.
핵심 포인트
- 와 을 우분투, , 도커, Ollama, 와 함께 운영했다.
- 모델 크기와 양자화 방식을 고를 때 24GB VRAM 한도와 필요한 문맥 길이를 함께 따져야 한다.
- 컴퓨터와 컨테이너의 파일 경로를 구분하고 모델 및 앱 데이터가 계속 보존되도록 설정해야 한다.
- 의 과 쓰기 가능 범위를 명확하게 제한해야 한다.
- 기록 확인과 오류 복구 절차를 마련하고, 더 강한 추론이 필요하면 을 병행한다.