Hermes에서 oMLX 모델 자동 교체가 막히는 문제
에서 가 다른 모델을 요청할 때, 이전 모델을 내리고 새 모델을 올리는 흐름이 제대로 작동하지 않는다. Pi에서는 같은 상황이 조금 낫다. 처음 다른 모델을 요청하면 오류가 나지만, 두 번째 시도에서는 이전 모델을 내리고 새 모델을 불러온다.
에서는 이 전환이 멈춘 상태로 보인다. 는 같은 종류의 모델 교체를 더 매끄럽게 처리한다.
핵심 포인트
- 에서 가 요청한 모델 교체가 제대로 끝나지 않을 수 있다.
- Pi에서는 첫 시도 오류 뒤 두 번째 시도에서 모델 교체가 되는 사례가 있다.
- 에서는 같은 방식의 재시도가 해결로 이어진다는 내용이 없다.
- 는 이전 모델 내리기와 새 모델 불러오기를 더 자연스럽게 처리한다.
- 에서는 교체보다 단일 모델 운용이 더 안전할 수 있다.