큰 작업은 작은 에이전트로 나누면 토큰을 크게 줄일 수 있다
긴 대화 안에서 계속 작업을 이어가면 매번 많은 이전 내용을 다시 읽게 되어 토큰이 빠르게 늘어난다. 이 사례에서는 큰 작업을 그대로 진행하지 않고, 담당 에이전트와 계획 담당 에이전트에게 나누어 맡겼다.
쪽은 약 15만4천 토큰, 계획 쪽은 약 8만5천 토큰을 썼고, 둘 다 새 에서 실행됐다. 같은 작업을 긴 대화 안에서 직접 처리했다면 약 100번의 이 40~50번의 대화 턴으로 이어지고, 매 턴마다 누적된 약 44만 토큰의 문맥을 다시 읽었을 것으로 계산됐다.
가격 를 반영하면 약 150만~200만 토큰을 피했고, 실제로는 약 24만 토큰과 검토 비용 정도만 쓴 셈이다. 결과적으로 구축 단계에서 약 6~8배의 토큰 절감이 있었다는 계산이다.
핵심 포인트
- 긴 대화에서 작업을 계속하면 이전 문맥을 반복해서 읽어 이 커질 수 있다.
- 에이전트와 계획 에이전트로 역할을 나누면 필요한 문맥만 읽게 만들 수 있다.
- 이 사례에서는 약 24만 토큰을 쓰고 약 150만~200만 가격 가중 토큰을 피한 것으로 계산됐다.
- 큰 작업을 작은 새 로 나누는 방식이 구축 단계 비용을 약 6~8배 줄였다는 주장이다.