Hermes 모델 선택 논쟁, 맥미니 서버 운영자에게 주는 신호
r/에서는 최근 일주일 동안 에 어떤 모델을 연결해 돌릴지에 대한 논의가 크게 늘었다. 이 주제만으로 글 78개와 댓글 1,350개 이상이 나왔고, 메모리, 보안, 배포, 논의를 모두 합친 것보다 많았다. 논쟁은 네 갈래로 나뉘었고, 각 쪽은 다른 선택이 돈이나 시간을 낭비한다고 본다.
그중 한쪽은 데이터가 집 밖으로 나가지 않는 을 선호한다. 16GB와 12GB 구성에서는 로컬 모델이 아침 뉴스 수집 같은 가벼운 자동화에는 쓸 만하지만, 그 이상에서는 큰 의미가 작을 수 있다는 평가가 논쟁을 키웠다.
핵심 포인트
- 최근 일주일 동안 모델 선택 논의가 글 78개, 댓글 1,350개 이상으로 커졌다.
- 모델 선택 논의가 메모리, 보안, 배포, 논의를 모두 합친 것보다 많았다.
- 논쟁은 네 갈래 입장으로 나뉘었고, 서로 비용이나 시간 낭비라고 본다.
- 쪽은 데이터가 집 밖으로 나가지 않는 점을 중시한다.
- 16GB와 12GB 구성은 가벼운 자동화에는 맞지만, 더 큰 작업에는 기대치를 낮춰야 할 수 있다.