여러 AI 에이전트를 거치며 응답이 2분까지 느려지는 문제
을 쓰는 다중 흐름에서 간단한 질문도 답이 나오기까지 약 2분이 걸린다. 흐름은 입력 가드레일, 플래너 에이전트, 여러 , 응답 작성기, 출력 가드레일 순서로 이어진다.
입력과 출력 가드레일에는 NeMo가 쓰인다. 기능은 잘 작동하지만, 최종 답을 만들기 전에 모든 단계가 차례로 실행되기 때문에 전체 응답 시간이 길어진다.
핵심 고민은 실제 서비스에서 끝까지 걸리는 시간을 줄이는 방법, 가드레일을 동시에 돌릴지 차례로 돌릴지, 이 끝나기 전에도 답변을 스트리밍할 수 있는지다. 예시 구조는 Smart Bill Book 워크플로 에이전트의 깃허브 이미지로 공유되어 있다.
핵심 포인트
- 기반의 다중 구조가 사용된다.
- 입력 가드레일, 플래너 에이전트, , 응답 작성기, 출력 가드레일이 순서대로 실행된다.
- 간단한 질문도 전체 흐름을 모두 거치면서 약 2분이 걸린다.
- 실제 서비스에서는 가드레일을 동기 또는 비동기로 돌릴지 결정해야 한다.
- 중에도 답변을 스트리밍하면 체감 을 줄일 수 있다.