Ollama 기반 RAG 앱을 실제 서비스로 배포하는 고민
로 돌리는 을 써서 앱을 만든 상태다. 언어 모델은 granite-8b, 임베딩 모델은 BGE-M3, 는 qdrant를 사용했다. 모든 구성 요소와 qdrant 저장 데이터는 개인 컴퓨터 안에 있다.
실제 배포를 하려면 어떤 기술 조합이 적절한지, 다른 사람이 서비스를 쓸 때 내 컴퓨터의 모델이 어떻게 응답을 내보내는지, 모델을 같은 곳에 올려 별도 엔드포인트를 만들어야 하는지 혼란이 있다. 특히 다른 사용자의 요청 때문에 개인 GPU가 과하게 쓰이는 상황을 피하고 싶어 한다.
핵심 포인트
- granite-8b, BGE-M3, qdrant로 만든 RAG 앱을 배포하려는 상황이다.
- 모델과 데이터 저장소가 모두 개인 컴퓨터에 있는 상태다.
- 다른 사용자가 요청할 때 내 하드웨어가 직접 계산을 맡는 구조가 걱정거리다.
- 에 모델을 올리고 엔드포인트를 만들어야 하는지 확신하지 못하고 있다.
- 핵심 고민은 앱을 비용 부담 없이 안정적으로 서비스하는 방법이다.