좋은 모델보다 에이전트 시스템 설계가 더 중요하다는 주장

최신 인공지능 모델 순위를 따지는 일보다, 모델 위에 어떤 에이전트 시스템을 얹는지가 더 중요해졌다는 주장이다. 벤치마크는 한 모델이 한 과제에서 낸 순간적인 점수일 뿐이라, 실제 제품 성과를 충분히 보여주지 못한다. 초기 에이전트는 좋은 프롬프트에 가까웠고, 브랜드 목소리나 인스타그램 작업처럼 특정 역할을 맡았다.

하지만 사용자가 늘자 같은 프롬프트가 모든 고객에게 비슷한 결과를 내기 시작했다. 프롬프트만 다듬어서는 고객마다 다른 맥락과 필요를 알 수 없기 때문이다. 무료 오픈 가중치 모델을 300개 에이전트로 병렬 실행하면, 실제 조사 작업에서 5배 비싼 유료 모델보다 나을 수 있다는 경험이 제시된다.

그래서 핵심 질문은 어떤 모델이 1등인지가 아니라, 싼 토큰으로 얼마나 많은 시도를 버릴 수 있는지, 결과를 누가 검토하는지, 모델 위에 어떤 구조를 만들었는지로 바뀐다.