로컬 모델은 코딩 에이전트에 아직 충분한가
HashiCorp 창업자는 로컬 모델이 아직 충분히 좋지 않다고 보는 쪽이다. 반대 의견은 도 1년 넘게 코딩 작업에 실제로 쓰이고 있으며, 작업을 작고 명확하게 나누면 충분히 쓸 수 있다는 주장이다. 핵심 차이는 를 얼마나 자유롭게 맡길 수 있느냐다.
5,000달러 정도의 개인 장비에서 돌리는 로컬 모델은 잘 정의된 작은 작업에는 쓸 만하지만, 5만 줄 규모 프로젝트에서 느슨한 지시만 주고 알아서 돌아다니게 하는 수준은 같은 강한 보다 부족하다는 의견이 많다. 비용 관점에서는 로컬 장비가 많이 쓰는 사람에게 토큰 비용을 줄여 줄 수 있지만, 품질 저하로 생산성이 떨어지면 싸다고 보기 어렵다는 반론도 있다. 일부는 이 전체 방향을 잡고 로컬 모델이 작은 작업을 처리하게 하면 비용을 줄일 수 있다고 본다.
코드 구조를 작게 나누고 각 프로젝트에 같은 안내 문서를 두면 작은 모델 여러 개를 병렬로 쓰기 쉬워지고, 충돌과 수정 비용도 줄어든다는 경험담도 나왔다.
핵심 포인트
- 로컬 모델은 작은 코딩 작업에는 쓸 수 있지만 큰 프로젝트를 자유롭게 맡기기에는 한계가 있다는 의견이 많다.
- 을 잘 쓰려면 작업 범위와 필요한 파일을 명확히 정해야 한다.
- 을 지휘 역할로 쓰고 로컬 모델을 실행 역할로 쓰면 토큰 비용을 줄일 수 있다.
- 로컬 장비는 사용량이 많은 사람에게 비용 절감 효과가 있지만, 품질 저하로 시간이 더 들면 이익이 줄어든다.
- 같은 안내 문서와 잘 나뉜 코드 구조는 작은 모델 여러 개를 병렬로 쓰는 데 도움이 된다.