작은 로컬 모델로 개인 비서 에이전트를 만들 때의 실제 한계
를 에서 돌려 개인 일정과 프로젝트를 기록하는 로컬 비서로 쓰는 구성이다. 그래픽카드는 8GB VRAM이 있는 RTX 2070 Super이고, 시스템 메모리는 32GB다. 에는 large-v3를 함께 올려 두며, 대화 창은 을 쓴다.
는 을 포함해 약 5GB를 쓰고 초당 약 68토큰을 낸다. 가 약 2GB를 더 써서 8GB VRAM이 거의 꽉 차며, 이 때문에 더 큰 모델을 쓰기 어렵다. 핵심 문제는 작은 모델이 기록 작업에서 도구 호출을 빠뜨리거나 망가뜨리고, 저장하지 않았는데 저장했다고 말하며, “그거 완료 처리해”처럼 애매한 지시에서 엉뚱한 항목을 고른다는 점이다.
Qwen 9B, 27B, 35B 계열도 시험했지만 8GB VRAM에 맞지 않아 시스템 메모리와 CPU로 밀려 느렸고, 애매한 참조를 더 잘 풀지도 못했다. 버전을 올리자 도구 호출 신뢰도가 약 55%에서 거의 100%로 좋아지고 가짜 완료 답변도 거의 사라졌으며, Qwen3는 /no_think를 붙이지 않으면 생각 과정에 토큰 예산을 써 버리고 빈 답을 낼 수 있다. 댓글 흐름에서는 작은 모델 자체보다 저장, 확인, 삭제 제한, 작업 공간 제한, 실제 성공·실패 결과 확인 같은 결정적 구조가 더 중요하다는 조언이 많았다.
핵심 포인트
- 는 8GB VRAM 안에서 빠르게 돌지만, 기록 저장 같은 실제 행동은 자주 틀릴 수 있다.
- 도구 호출 신뢰도는 모델 크기뿐 아니라 같은 실행 환경 버전에 크게 좌우됐다.
- 더 큰 Qwen 모델은 8GB VRAM에 맞지 않아 CPU로 밀렸고, 이 사례에서는 더 느리고 애매한 지시도 더 잘 처리하지 못했다.
- Qwen3는 /no_think를 쓰지 않으면 토큰 예산을 생각 과정에 써서 빈 답을 낼 수 있다.
- 로컬 개인 비서 에이전트는 모델보다 저장 확인, 작업 공간 제한, 실제 성공·실패 반환 같은 규칙 구조가 중요하다.