개인 문서 검색형 인공지능을 완전 오프라인으로 만든 사례
개인 책과 문서를 클라우드로 보내지 않고, 집 안의 한 대의 컴퓨터에서만 읽고 답하게 만든 오프라인 RAG 사례다. 목표는 OpenAI 같은 외부 서비스에 계속 비용을 내지 않고, 자신의 PDF와 책 자료를 자기 장비에서 처리하는 것이었다. 사용한 장비는 Corsair AI Workstation 300이며, 와 128GB 를 갖췄다.
이 메모리 덕분에 122B 규모의 큰 모델, , 를 동시에 올려 둘 수 있었다. 그래서 한 모델을 내렸다가 다른 모델을 올리는 식의 번거로운 전환을 줄일 수 있었다. 구현은 이나 같은 없이 를 바탕으로 직접 만들었다.
다만 AMD의 ROCm 환경은 설치와 오류 해결이 쉽지 않았고, 예상보다 많은 시간을 잡아먹었다.
핵심 포인트
- 개인 책과 PDF를 외부 클라우드로 보내지 않는 오프라인 RAG를 만들었다.
- 목표는 OpenAI 같은 외부 서비스 비용을 줄이고 데이터 통제를 유지하는 것이었다.
- 128GB 덕분에 큰 모델과 검색 보조 구성요소를 동시에 올릴 수 있었다.
- 이나 없이 기반으로 직접 구현했다.
- ROCm 설정과 오류 해결이 큰 부담으로 나타났다.