Ollama 의료 챗봇을 공개 배포할 때 생기는 비용 고민
의료용 챗봇이 로 노트북에서 실행되고 있다. 는 모델을 개인 컴퓨터에서 직접 돌리기 때문에, 앱만 AWS에 올리고 모델을 노트북에 그대로 두면 일반 사용자가 모델에 접근하기 어렵다.
공개 서비스로 쓰려면 모델도 같은 인터넷에서 접근 가능한 서버에 올려야 한다. 이 경우 단순한 Flask 앱을 올릴 때보다 더 많은 , 메모리, 가 필요할 수 있다.
그래서 배포 비용이 크게 늘어날 수 있는지가 핵심 고민이다. 공개 배포 없이 로컬 프로젝트로만 두고 이력서에 적어도 인턴십이나 취업 면접에서 괜찮은지도 함께 고민하고 있다.
핵심 포인트
- 의료 챗봇은 방식으로 만들어졌다.
- 무료 모델을 찾기 어려워 로 을 선택했다.
- 앱만 AWS에 올리고 모델을 노트북에 두면 공개 사용자가 모델을 쓰기 어렵다.
- 공개 배포에는 같은 서버에 모델을 함께 올리는 방식이 필요할 수 있다.
- 모델 서버는 단순한 Flask 앱보다 더 높은 사양과 비용이 필요할 수 있다.