SaaS에 AI 기능 넣을 때 어떤 모델 조합을 쓰나요?
운영자들 사이에서 제품에 AI 기능을 넣을 때 어떤 방식으로 모델을 고르는지가 화제다. 직접 AI 서비스를 만드는 게 아니라 자기 소프트웨어의 한 기능으로 LLM을 쓰는 경우를 말한다. 핵심 질문은 두 가지다.
하나는 제미나이, 앤트로픽, 오픈AI 중 한 곳만 쓰는지 아니면 기능별로 다른 제공사의 모델을 섞어 쓰는지이고, 다른 하나는 각 제공사 API에 직접 붙는지, 여러 모델을 한 번에 붙일 수 있는 중개 서비스인 오픈라우터()를 쓰는지, 아니면 AWS 베드록()이나 구글 버텍스() 같은 을 통해 쓰는지다. 글쓴이는 구글의 모델 카탈로그 서비스인 파운드리()는 쓰기 불편하다고 언급했다.
핵심 포인트
- 개발자가 제품에 AI 기능을 넣을 때 모델 선택 방식을 묻는 글
- 제미나이·앤트로픽·오픈AI 중 하나만 쓰는지, 섞어 쓰는지가 쟁점
- 각 제공사 API 직접 연동 vs 오픈라우터 같은 중개 서비스 vs AWS 베드록/구글 버텍스 같은 연동 방식 비교
- 글쓴이는 구글의 모델 카탈로그 서비스(파운드리)가 쓰기 나쁘다고 평가