오픈소스 대규모 언어 모델을 직접 운영하려는 비용 고민
로 AI 제품을 만들고 있지만, 앞으로는 오픈소스 을 직접 운영 환경에 배포하려는 상황이다. 목표는 에 덜 의존하고 제품의 전체 기술 흐름을 직접 통제하는 것이다. 또 특정 사용 사례에 맞게 모델을 미세 조정하고 싶어 한다.
다만 전문 가 아니기 때문에 쿠다나 같은 복잡한 기술 설정에 오래 묶이고 싶지 않다. 핵심 요구는 저렴하면서도 안정적이고, 개인 또는 회사가 직접 관리할 수 있는 사설 배포 경로다.
핵심 포인트
- 현재는 의 로 AI 제품을 개발 중이다.
- 대신 오픈소스 을 직접 운영 환경에 배포하고 싶어 한다.
- 이유는 전체 기술 흐름을 직접 통제하고, 사용 사례에 맞게 모델을 미세 조정하기 위해서다.
- 복잡한 쿠다나 설정 없이 바로 사설 배포로 갈 수 있는 플랫폼을 찾고 있다.
- 핵심 기준은 비용이 낮고, 운영하기 어렵지 않으며, 제품에 쓸 만큼 충분히 좋은 방식이다.