로컬 모델로 Claude 토큰 사용을 줄이려는 실제 테스트
회사 워크스테이션에 을 넣고, Windows 11에서 llama.cpp로 MTP Q8_K_XL을 돌려 Claude 토큰 사용을 일부 줄이는 실험이 진행됐다. 체감 성능은 과 어느 정도 비슷하지만 조금 더 약하고 느리며, 보다는 더 잘 맞았다. 는 여전히 훨씬 높은 수준으로 평가됐다.
모델 크기가 비교적 작다는 점을 생각하면 추론과 도구 호출 능력은 꽤 좋았다. 가장 큰 약점은 지식 부족이었다. 코딩 작업에서는 Context7이나 Serper 같은 도구로 문서와 웹을 확인하게 하자, 클래스 이름, 필드 이름, 같은 세부 정보를 지어내는 일이 줄었다.
다만 VS Code의 Copilot 확장 기능으로 코딩 에이전트를 돌릴 때 세션 중간에 에이전트가 무작위로 멈추는 큰 안정성 문제가 있었다.
핵심 포인트
- 워크스테이션에서 로 Claude 토큰 사용을 줄이는 실험이다.
- MTP Q8_K_XL은 보다 낫지만 보다는 약하고 느리게 느껴졌다.
- 는 여전히 별도 등급으로 더 강하게 평가됐다.
- Context7과 Serper로 문서와 웹 검색을 붙이자 코딩 세부 정보를 지어내는 일이 줄었다.
- VS Code와 Copilot 확장 기능을 쓸 때 코딩 에이전트가 무작위로 멈추는 안정성 문제가 있었다.