32GB 미니PC + 로컬 LLM으로 월 0원 AI 업무 비서 직접 구축한 후기
시설관리 업무를 16년 하다가 독학으로 AI를 익힌 사람이 SaaS 구독료가 계속 오르고 데이터를 외부에 맡기는 게 싫어서, 미니PC에 를 직접 구축했다. 사용한 하드웨어는 GMK K12 미니PC(Ryzen CPU, 32GB 램, 별도 그래픽카드 없이 내장 그래픽만 사용)이며, 모델 실행에는 Ollama를 쓰고 모델을 올렸다.
로는 가 만든 오픈소스() 를 썼고, 에이전트가 읽고 쓰는 '세컨드 브레인'으로 노트 보관함을 연결했다. 모델 파일이 시스템 드라이브를 건드리지 않도록 2TB NVMe 저장장치를 별도로 달았다.
핵심 구조는 '이중 두뇌' 방식이다: 로컬에서 돌아가는 가 파일 정리, 초안 작성, 목록화 같은 반복 작업을 무료로 처리하는 '실무자' 역할을 하고, 기존에 구독 중이던 Claude가 어려운 추론과 전체 조율을 담당하는 '관리자' 역할을 맡아 한 페이지짜리 상태 기록을 통해 소통한다. 월 구독료 없이 책상 위 하드웨어만으로 돌아가는 구성이며, 글쓴이는 문서화되지 않아 며칠을 헤매게 만든 함정들이 있었다고 언급했다.
핵심 포인트
- 미니PC(Ryzen, 램 32GB, 내장 그래픽만 사용)에 를 구축, 월 구독료 없이 운영
- 모델 서버로 Ollama, 모델로 사용
- 는 의 오픈소스 ()
- 로컬 가 반복 작업을, 기존 이 고난도 추론과 조율을 담당하는 이중 두뇌 구조
- 모델 파일 저장용으로 2TB NVMe를 별도 구성해 시스템 드라이브와 분리