로컬 AI 작업은 에이전트 4개 병렬 실행 때 처리량이 크게 늘었다
한 장에서 로 모델을 실행하고, 에이전트마다 요청 5개를 처리하게 했다. 각 요청은 최대 1,024개 토큰으로 제한했고, 동시에 실행할 수 있는 작업 수는 8개로 설정했다.
에이전트 1개일 때 전체 처리량은 초당 약 246토큰이었지만, 2개는 346토큰, 4개는 434토큰, 8개는 534토큰으로 늘었다. 따라서 에이전트 8개를 해도 전체 처리량은 약 2.2배에 그쳤으며 8배가 되지는 않았다.
자원이 나뉘면서 에이전트 하나의 평균 속도는 초당 약 257토큰에서 67토큰으로 떨어졌다. 5개에서 8개로 늘릴 때는 추가 이득이 작아져, 이 장비와 모델에서는 여러 독립 작업을 동시에 처리하되 수를 무조건 최대로 높이는 것이 최선은 아니었다.
핵심 포인트
- 에이전트 1개에서 전체 처리량은 초당 약 246토큰이었다.
- 에이전트 4개에서는 전체 처리량이 초당 약 434토큰으로 늘었다.
- 에이전트 8개의 전체 처리량은 초당 약 534토큰으로, 1개의 약 2.2배였다.
- 에이전트 하나의 속도는 수가 늘수록 초당 약 257토큰에서 67토큰까지 낮아졌다.
- 5개를 넘긴 뒤에는 에이전트를 추가해도 처리량 증가 폭이 작았다.