Hermes를 로컬 코딩 작업에 쓸 때의 현실적인 한계
M1 128GB 장비에서 로 고급 상용 모델의 코딩 작업을 상당 부분 대신하려 했지만 기대만큼 작동하지 않았다. 처음 목표는 로컬 코딩 모델이 고급 상용 모델의 90% 정도를 대체하는 것이었지만, 실제 사용에서는 빨리 한계가 드러났다.
이후에는 고급 상용 모델로 계획을 세우고 로컬 모델로 실행하는 방식도 시도했지만 안정적으로 이어지지 않았다. , , picode, 같은 여러 코딩 도구를 써봤고, 의 칸반 보드에서 로 단순한 표 영역 수정 작업을 맡겼을 때 수백만 토큰을 쓰고도 해결하지 못했다.
Q8 설정과 긴 문맥을 사용했고 요청 대부분은 10만~12만 토큰 수준까지 길어졌지만, 모델은 문맥을 놓치고 원하지 않는 행동을 반복했다. 요약, 분류처럼 한 번에 끝나는 작업은 잘 맞았지만, 긴 코딩 작업을 맡기는 방식은 비용과 시간 대비 만족스럽지 않았다.
핵심 포인트
- M1 128GB 장비에서도 로컬 코딩 모델이 고급 상용 모델을 넓게 대체하지 못했다.
- , , , picode를 모두 시도했지만 긴 코딩 작업은 안정적이지 않았다.
- 의 칸반 보드에서 가 단순한 표 영역 수정도 끝내지 못했다.
- Q8과 긴 문맥을 써도 10만~12만 토큰 수준의 작업에서는 문맥 손실이 생겼다.
- 요약과 분류처럼 한 번에 끝나는 작업은 로컬 모델에 더 잘 맞았다.