GPT-4o 일부를 오픈소스 모델로 바꿔 작업 비용 70% 절감
내부 연구용 는 작업 하나를 끝낼 때 을 약 40~60번 호출했다. GPT-4o만 쓸 때는 작업 하나당 추론 비용이 1달러를 넘었고, 많은 호출은 최종 답변이 아니라 경로 선택이나 정보 추출 같은 반복 작업이었다. , , Qwen 3.7 max, -Pro를 같은 평가 세트로 각각 약 300번씩 시험했고, OpenAI 방식의 도구 호출 지시문을 그대로 썼으며 모델별 맞춤 조정은 하지 않았다.
은 도구 호출에서 안정적이었고, 여러 도구를 동시에 부르는 경우와 스키마 준수도 큰 문제가 없었다. 는 6만~8만 토큰 정도의 긴 컨텍스트를 넣어도 크게 무너지지 않았다. Qwen 3.7은 부하가 걸릴 때 도구 인자를 객체가 아니라 문자열 형태의 제이슨으로 돌려주는 일이 있었고, 재시도 처리로 해결은 가능했지만 번거로웠다.
선택 항목이 많은 깊은 스키마에서는 모든 이 GPT-4o보다 약했고, 스키마를 단순하게 펴는 편이 낫다는 결론이 나왔다. 최종 구성은 도구 단계에 Kimi, 종합 정리에 GLM, 사용자에게 보이는 마지막 답변에만 GPT-4o를 쓰는 방식이었고, 작업당 비용은 약 1.10달러에서 약 0.35달러로 줄었다.
핵심 포인트
- 작업 하나에 모델 호출이 40~60번 필요해 비용 차이가 크게 누적됐다.
- 은 도구 호출 단계에서 안정적인 후보로 평가됐다.
- 는 매우 긴 컨텍스트를 넣는 종합 정리 단계에 쓸 만했다.
- 복잡하게 중첩된 스키마는 에서 오류를 늘릴 수 있어 단순화가 필요하다.
- 같은 모델이라도 제공 업체에 따라 지연 시간이 크게 달라져 실제 엔드포인트를 직접 재야 한다.