좋은 AI 에이전트는 모델 호출을 줄인다
좋은 구조는 모든 결정을 에 맡기지 않는다. 특히 큰 과학 데이터처럼 파일이 복잡하고 규모가 큰 작업에서도, 어떤 도구나 파서를 써야 하는지는 대부분 정해진 규칙으로 판단할 수 있다. 도구 선택, 재시도, 출력 해석, 멈출 시점 판단처럼 답이 뚜렷한 단계는 모델 판단보다 코드로 처리하는 편이 낫다.
이런 단계를 모델에 계속 맡기면 속도가 느려지고, 문제가 생겼을 때 어느 에서 실패했는지 찾기 어려워진다. 프롬프트 문구를 바꿔야만 고쳐지는 단계라면 튼튼한 실행 구조가 아니라 얇은 포장에 가깝다. 모델은 규칙만으로 풀기 어려운 모호한 판단, 서로 충돌하는 신호, 예외적인 상황에만 쓰는 것이 더 적절하다.
실제로 을 하나씩 나눠 보면 모델이 꼭 필요한 부분은 생각보다 작을 수 있다.
핵심 포인트
- 도구 선택, 재시도, 출력 해석, 종료 판단은 코드로 처리할 수 있는 경우가 많다.
- 이 많을수록 느려지고 실패 원인을 찾기 어려워진다.
- 프롬프트 수정으로만 문제가 해결된다면 구조가 약하다는 신호일 수 있다.
- 모델은 모호하거나 규칙으로 처리하기 어려운 판단에 집중시키는 편이 좋다.
- 에이전트 비용 절감의 핵심은 모델 사용량 자체를 줄이는 설계다.