AI 에이전트 속도 개선은 모델 교체가 아니라 시스템 구조에서 나왔다
를 더 빠르게 만든 핵심 요인은 더 빠른 모델이 아니라 였다. 서로 관련 없는 을 순차적으로 하나씩 처리하는 대신 동시에 병렬로 실행한 것이 큰 효과를 냈다.
자주 바뀌지 않는 데이터는 캐싱해 재사용하고, 모델에 넘기는 의 양을 줄였다. 시간이 오래 걸리는 작업은 완료를 기다리지 않고 결과 일부를 먼저 보여주면서 에서 나머지를 처리하게 했다.
일부 구간에서는 자체를 없애고 평범한 코드로 대체했다. 이런 변경들은 벤치마크 점수를 올리지는 못했지만, 실제 사용자가 체감하는 반응 속도는 확실히 빨라졌다.
핵심 포인트
- 관련 없는 도구 호출은 순차 처리 대신 병렬로 동시 실행하면 체감 속도가 빨라진다
- 자주 바뀌지 않는 데이터는 캐싱해서 반복 조회를 줄인다
- 모델에 보내는 컨텍스트(문맥) 양을 줄이면 응답이 빨라진다
- 오래 걸리는 작업은 일부 결과를 먼저 보여주고 나머지는 에서 처리한다
- 일부 로직은 대신 일반 코드로 대체해 속도와 비용을 함께 줄인다