LLM 에이전트 비용을 줄이는 토큰 운용 원칙
작업에서는 어떤 모델을 고를지보다 토큰과 비용을 어떻게 나눠 쓸지가 중요할 수 있다. 핵심 목표는 비싼 추론 예산을 정말 판단이 필요한 결정에 남겨 두는 것이다. 넓게 자료를 모으거나 형식을 맞추는 기계적인 일은 감당 가능한 가장 저렴한 모델에 맡기고, 여러 작업을 로 처리한 뒤 필요한 결과만 위로 올린다.
최종 판단은 한곳으로 모아 더 강한 모델이나 더 깊은 추론에 집중한다. 같은 내용을 여러 번 요약하거나 여러 번 판단하지 말고, 한 번 요약하고 한 번 판단하는 흐름이 비용을 줄인다. 모든 자료를 처음부터 넣기보다 필요한 만큼만 단계적으로 찾아 넣는 점진적 검색이 더 효율적이다.
애매한 상황에서는 싼 모델이 추측하게 두지 말고, 을 위로 올려 더 적절한 판단 단계에서 처리한다. 이 방식은 고정된 모델 서열표가 아니라 모델이 바뀌어도 쓸 수 있는 운용 원칙에 가깝다.
핵심 포인트
- 비싼 추론은 최종 판단처럼 꼭 필요한 곳에만 집중한다.
- 자료 수집, 분류, 형식 정리 같은 기계적인 일은 감당 가능한 가장 저렴한 모델에 맡긴다.
- 여러 은 넓게 로 처리하고, 정리된 결과만 상위 판단 단계로 보낸다.
- 전체 자료를 한꺼번에 넣지 말고 필요한 만큼 단계적으로 검색한다.
- 애매한 문제는 싼 모델이 추측하게 두지 말고 더 높은 판단 단계로 올린다.