작은 로컬 모델로 개인용 AI 에이전트를 만든 사례
Bantz는 개인 컴퓨터에서 직접 돌아가는 AI 개인 비서다. 라는 작은 모델을 쓰며, 그래픽카드 없이 만으로 실행된다.
기능은 지메일을 개인 메일, 기관 메일, 알림으로 나누어 읽고 요약하는 것, 구글 캘린더와 연결하는 것, 여러 자료를 비동기로 찾아 깊게 조사하는 것, 컴퓨터의 ·메모리·스왑 상태를 실시간으로 보고 알림을 주는 것이다. 예약 작업과 자율 지시도 다루며, 환경에서 데스크톱을 직접 조작하는 기능도 만들고 있다.
만든 쪽의 핵심 문제의식은 외부 AI 회사의 기반 시설에 기대면 정책, 정부 지시, 서비스 중단 같은 외부 결정에 취약하다는 점이다. 작은 로컬 모델을 쓸 만하게 최적화하는 일은 매우 어렵지만, 직접 운영하면 갑작스러운 차단이나 외부 비용 구조에서 어느 정도 벗어날 수 있다.
핵심 포인트
- Bantz는 컴퓨터 안에서 직접 실행되는 로컬 AI 개인 비서다.
- 를 사용하며 그래픽카드 없이 만으로 실행된다.
- 지메일 요약, 구글 캘린더 연결, 웹 조사, 시스템 감시, 예약 작업을 목표로 한다.
- 외부 AI 서비스에 의존하면 정책 변화나 서비스 중단에 영향을 받을 수 있다는 문제의식에서 출발했다.
- 작은 로컬 모델은 비용을 줄일 수 있지만, 최적화와 유지보수가 어렵다.