여러 AI 모델을 비용 기준으로 자동 전환하려는 고민
한 핵심 서비스가 OpenAI, , 자체 서버에서 돌리는 을 함께 쓰고 있다. 회사 안에는 작은 서버 묶음도 있다.
모델과 서버가 늘어나면서 사용량만 보는 수준으로는 관리가 어려워지고 있다. 필요한 것은 비용, 사용량, 상황에 따라 어느 모델을 쓸지 정하는 이다.
예를 들어 챗봇은 기본으로 OpenAI를 쓰지만, OpenAI 비용이 예산을 넘으면 자체 서버의 모델로 자동 전환하려는 방식이다. 핵심 질문은 이런 여러 모델과 비용 한도를 한곳에서 관리할 도구가 있느냐는 것이다.
핵심 포인트
- 핵심 서비스에서 OpenAI, , 자체 서버 모델을 함께 쓰고 있다.
- 작은 서버 묶음도 운영 중이다.
- 단순 사용량 모니터링을 넘어 모델 선택 규칙이 필요해졌다.
- 챗봇은 기본으로 OpenAI를 쓰고, 예산 초과 시 자체 서버 모델로 바꾸려 한다.
- 관심사는 여러 모델과 비용 한도를 한곳에서 다루는 도구다.