LLM 자동 모델 라우팅 도구를 찾는 실전 수요
개인 프로젝트나 프리랜서 프로젝트에서 매번 사람이 모델을 고르는 대신, 요청 내용에 맞춰 자동으로 적절한 을 고르는 방법이 필요하다. 목표는 작업이 어려운지, 비용과 품질의 균형이 어떤지, 응답 속도가 얼마나 중요한지, 입력할 수 있는 가 충분한지, 특정 제공사가 잠시 안 될 때 다른 제공사로 넘길 수 있는지를 기준으로 요청을 나누는 것이다. 가벼운 분류기나 도 검토 대상이다.
모델을 직접 파인튜닝하는 방식은 원하지 않으며, 이미 있는 오픈소스 가 충분히 성숙했다면 그것을 쓰고 싶다는 요구다. 제공된 내용 안에는 특정 도구 이름이나 실제 사용 결과는 없다.
핵심 포인트
- 핵심 요구는 사람이 모델을 고르지 않고 요청별로 자동 배분하는 것이다.
- 라우팅 기준에는 작업 복잡도, 비용과 품질, 응답 속도, , 제공사 장애 전환이 포함된다.
- 가벼운 분류기나 으로 요청 성격을 판단하는 방안도 고려된다.
- 모델 파인튜닝은 원하지 않고, 성숙한 오픈소스 를 선호한다.
- 제공된 내용만으로는 추천된 특정 나 성능 비교는 확인할 수 없다.