AI 에이전트 비용은 ‘작업별’보다 ‘요청별’ 모델 선택이 핵심

실제 업무에서 AI 에이전트를 매일 쓰면, 어떤 요청을 어떤 모델에 맡길지 안정적으로 정하기가 어렵다. 흔한 조언은 쉬운 일은 싼 모델에, 어려운 일은 비싼 모델에 맡기라는 것이지만, 실제로는 사용자가 감으로 고르는 경우가 많다. 문제는 하나의 작업 안에도 쉬운 차례와 어려운 차례가 섞여 있다는 점이다.

예를 들어 코딩 에이전트는 대부분의 시간에 파일을 읽고, 명령어를 실행하고, 오류를 요약하는 단순한 일을 한다. 이런 일은 Qwen 같은 작은 로컬 모델도 처리할 수 있다. 하지만 까다로운 버그 원인을 따지는 한 차례에서는 더 비싼 모델의 추론 능력이 필요하다.

그래서 모델 선택의 단위는 전체 작업이 아니라 매 요청, 매 차례가 되어야 한다. 지금처럼 실행 전체에 모델 하나를 고르면 쉬운 차례에서 돈을 더 쓰거나, 어려운 차례에서 성능이 부족해질 수 있다. 해결 방향은 작은 모델이 먼저 각 요청의 난이도를 판단하고, 처리 가능한 가장 싼 모델로 넘기는 분류 계층이다.