집 서버에서 작은 인공지능 모델을 돌리려는 구성안
목표는 전력과 비용을 낮춘 집 안 홈랩 서버를 만들고, 작은 은 직접 돌리며, 더 어려운 작업은 Gemini 같은 외부 인공지능 서비스의 API로 넘기는 것이다. 같은 서버에서 를 대화형 조정 도구로 쓰고, 두 사람이 각자 따로 프로필과 기억을 갖는 구성을 원한다. 빠른 이메일 요약이나 분류에는 로 30억~80억 개 규모의 작은 로컬 모델을 쓰고, 더 깊은 판단이 필요할 때는 최대 140억 개 규모의 더 큰 로컬 모델도 고려한다.
이 서버에는 같은 집 자동화 도구, 가벼운 미디어 서버, VPN, 작은 개인 프로젝트와 자동화를 위한 Docker 실행 환경도 함께 올릴 계획이다. 미디어 서버 성능은 집 안 네트워크에서 맥북 에어 M2로 Plex를 돌리는 수준과 같거나 더 나으면 충분하다. Gmail 계정 몇 개는 읽기 전용으로 연결하려고 한다.
하드웨어 선택, 모델 크기, 모델 압축 설정에는 익숙하지 않아 전체 구성이 현실적인지 점검이 필요한 상태다.
핵심 포인트
- 낮은 전력과 낮은 비용의 집 서버를 목표로 한다.
- 작은 로컬 모델은 이메일 요약과 분류 같은 빠른 작업에 쓰려 한다.
- 더 복잡한 작업은 Gemini 같은 외부 인공지능 API로 넘기는 구상이다.
- , 미디어 서버, VPN, Docker 기반 개인 프로젝트를 한 장비에 함께 올리려 한다.
- 맥북 에어 M2에서 Plex를 돌리는 수준의 집 안 미디어 성능이면 충분하다고 본다.