로컬 에이전트가 비용 압박의 대안으로 다시 거론됨
구독형 인공지능 서비스가 사용을 일반 구독 사용량이 아니라 API 가격으로 매기려 했고, 이후 물러섰다는 점이 를 쓰는 이유로 제시됐다. 는 외부 서비스에 매번 돈을 내지 않고 자기 컴퓨터나 직접 빌린 서버에서 을 돌리는 방식이다. 다만 현재 로컬 생태계는 아직 거칠다.
도구 호출 방식과 채팅 템플릿이 제각각이고, vLLM이나 같은 실행 서버와 같은 도구 설정에 모델 값을 따로 넣어야 해서 관리가 번거롭다. 여러 서버가 에서 추론 과정을 켜고 끄는 기능을 똑같이 지원하면 좋겠다는 의견도 나왔다. 비용 면에서는 하드웨어가 큰 걸림돌이다.
1조 매개변수급 을 1만 달러 장비에서 초당 30토큰 속도로 돌릴 수 있으면 폐쇄형 서비스 의존을 크게 줄일 수 있겠지만, 실제로는 오래된 을 쓰는 사람이 많고 같은 가격대의 최신 그래픽카드는 VRAM이 더 적다는 불만이 있다. 로컬 생태계에 기여하는 방법으로는 좋은 데이터셋과 문서 공유, 모국어 음성 녹음과 받아쓰기 데이터 공개, 기존 프롬프트를 다양하게 변형해 JSONLines 형식의 Evol-Instruct 데이터셋으로 올리는 방법이 제안됐다.
핵심 포인트
- 를 API 가격으로 과금하려 했다는 사례가 의 비용 통제 논의로 이어졌다.
- 도구는 도구 호출, 채팅 템플릿, 모델 설정 방식이 아직 통일되지 않았다.
- 하드웨어 가격과 VRAM 부족은 큰 로컬 모델을 싸게 돌리는 데 가장 큰 장벽이다.
- 좋은 데이터셋, 문서, 음성 녹음, 프롬프트 변형 데이터는 오픈 모델 품질을 높이는 데 도움이 된다.
- 완전 로컬이 부담되면 오픈 모델을 클라우드에서 쓰는 방식도 비용과 독립성 사이의 절충안이 될 수 있다.