개인 서버로 회사 내부 인공지능 작업을 한 대에 모으는 고민
소규모 사업장의 현재 인공지능 작업 환경은 16기가바이트 메모리의 , 12기가바이트 메모리의 Dell 데스크톱, 8기가바이트 메모리의 미니 피시를 SSH 터널로 이어 쓰는 구조다. 여러 기계가 나뉘어 있지만 그래픽카드를 묶어 쓰는 구조는 없어서, 안정적인 장기 운영에는 맞지 않는다. 새 목표는 회사 안에 한 대의 장비를 두고, 비공개 업무 자료를 바탕으로 추론과 RAG를 돌리는 것이다.
나중에는 가벼운 파인튜닝도 고려한다. 후보는 세 가지다. 은 96기가바이트 로 더 큰 모델을 다룰 여지가 가장 크다.
RTX PRO 5000 은 48기가바이트 로 비용이 낮고 실제 규모에는 충분할 가능성이 있다. 두 장 구성은 계산 성능은 높아 보이지만, 모델을 나눠 올려야 하고 부품과 설정이 더 복잡해진다. 우선순위는 안정성, 원격 관리, 모델을 자주 바꾸지 않아도 되는 충분한 , 한 번 잡아두면 계속 유지되는 전력과 발열 관리, 매일 손봐야 하지 않는 운영이다.
핵심 포인트
- 현재 환경은 작은 서버와 데스크톱, 미니 피시를 SSH 터널로 이어 쓰는 임시 구조다.
- 목표는 비공개 업무 자료로 추론과 RAG를 한 대에서 처리하는 것이다.
- 96기가바이트 의 은 큰 모델 선택 폭이 가장 넓다.
- 48기가바이트 의 RTX PRO 5000 은 비용과 실제 필요 사이의 균형안이다.
- 두 장은 성능은 커 보이지만 모델 분할과 운영 복잡도가 늘어난다.