로컬 GPU 하나로 여러 LLM 자동 교체해주는 파이썬 라이브러리 promptchain
promptchain은 소비자용 GPU 한 장에서 여러 개의 로컬 LLM을 돌릴 때 겪는 번거로움을 해결하는 파이썬 라이브러리다. , Ollama, 등 서로 다른 백엔드를 하나의 통합된 스트리밍 인터페이스로 다룰 수 있게 해준다.
핵심은 VRAM(그래픽 메모리) 관리 정책 엔진으로, ModelManager 객체에 정책(예: "auto"), 동시에 메모리에 올려둘 모델 수(max_resident), 유휴 상태일 때 자동 언로드까지 걸리는 시간(idle_unload) 등을 지정할 수 있다. 각 모델을 이름(drafter, coder 등)과 우선순위(priority)로 등록해두면, VRAM 예산이나 최대 모델 수 제한 안에서 우선순위와 LRU(가장 오래 사용 안 한 것부터 내리는 방식)를 기준으로 자동으로 모델을 올리고 내려준다.
원래는 스트림릿() 앱으로 만들었다가 피드백을 받고 라이브러리 형태로 재작업한 것이며, MCP 서버도 함께 제공되어 가 이 모델 관리 기능을 직접 제어할 수 있다. 기존에는 서버 하나만 중개하는 프록시 수준의 도구가 대부분이었는데, 이 라이브러리는 여러 백엔드에 걸쳐 실제 정책을 적용한다는 점이 다르다.
핵심 포인트
- 소비자용 GPU 한 장에서 여러 로컬 LLM을 자동으로 로드/언로드하는 파이썬 라이브러리
- , Ollama, 를 하나의 통합 스트리밍 인터페이스로 지원
- VRAM 예산 또는 모델 개수 제한 안에서 우선순위+LRU 기준 자동 교체
- MCP 서버를 함께 제공해 가 모델 관리를 직접 제어 가능
- 이전에 만든 스트림릿 앱에 대한 피드백을 받고 라이브러리로 재개발됨