여러 모델을 섞어도 같은 답이면 토큰만 11배 늘 수 있다
에이전트 실험에서 여러 모델을 함께 쓰는 방식이 항상 더 낫지는 않았다. 12개 추론 과제에서 중간급 모델 하나는 846토큰으로 100%를 맞혔다. 여러 모델이 답을 내고, 판정 모델이 고르고, 합성 모델이 정리하는 융합 방식도 100%를 맞혔지만 9,526토큰을 썼다.
같은 점수에 토큰은 약 11배였다. 그래서 융합은 기본값이 아니라, 싼 모델부터 시도하고 무료 판정 단계를 거친 뒤 중간급 모델로 올리며, 실패할 때만 융합으로 넘기는 식 단계형 흐름 뒤에 배치됐다. 이 흐름은 융합의 약 12분의 1 토큰으로 중간급 모델에 가까운 품질을 냈다.
또 이 일을 나누고 저렴한 작업자가 실행하는 구조는 작은 문서와 단순 작업에서는 보다 토큰이 47% 더 들었다. 반대로 여러 단계와 큰 문서가 있는 작업에서는 각 작업자가 필요한 문서만 한 번 읽기 때문에 같은 100% 품질에서 토큰이 66.5% 줄었다.
핵심 포인트
- 중간급 모델 하나는 12개 추론 과제에서 846토큰으로 100%를 맞혔다.
- 융합 방식도 같은 100%였지만 9,526토큰을 써 약 11배 비쌌다.
- 식 단계형 흐름은 싼 모델부터 쓰고 실패할 때만 융합으로 올린다.
- 작은 문서 작업에서는 이 오히려 토큰을 47% 더 썼다.
- 큰 문서와 여러 단계 작업에서는 작업자를 나누면 토큰을 66.5% 줄일 수 있었다.