Hermes를 로컬 모델과 함께 쓰려는 고급 설정 고민
목표는 인터넷 없이 직접 실행하는 로컬 또는 을 AI 하네스에 연결해 쓰는 것이다. Claude, OpenAI, Mistral, , xAI Grok, Gemini 같은 온라인 제공사 모델은 대상에서 제외된다. 관심사는 브라우저 조작이나 파일 사용, MCP 설정이 아니라 모델 선택과 학습 방식이다.
기존 AI 하네스는 온라인 제공사에 의존하는 경우가 많아 토큰 비용이 커지고 도구 호출이 지나치게 많아지는 문제가 있다. VSCode, Cursor, , , 같은 작업 환경에서 이런 비용과 호출 낭비를 줄이는 방향을 원한다. 이미 잘 작동하는 AI 하네스가 있고, 고성능 장비 접근성도 좋아 예산보다는 공간, 전력, 발열이 더 큰 제약이다.
과거에는 OpenAI Operator, Claude Code, , 의 컴퓨터 사용 기능을 써 봤고, API 중심으로 바뀌기 전까지는 꽤 잘 맞았다. 큰 모델이나 MoE 모델은 일반적인 도구 호출 흔들림이 있어도 어느 정도 쓸 만한 성능을 보였다.
핵심 포인트
- 를 VSCode, Cursor, , 같은 작업 환경과 함께 보는 맥락이다.
- 온라인 제공사 모델 대신 인터넷 없이 직접 실행하는 로컬 모델을 쓰려는 방향이다.
- 주된 이유는 토큰 비용과 불필요하게 많은 도구 호출을 줄이기 위해서다.
- 브라우저, 파일 사용, MCP가 아니라 모델 선택과 학습 방식이 핵심이다.
- 큰 모델이나 MoE 모델은 일부 도구 호출 문제가 있어도 쓸 만한 결과를 냈다.