AI 에이전트에는 GPU보다 다른 칩이 더 맞을 수 있다는 경험담
업무용 인프라를 18개월 다룬 경험 기준으로, NVIDIA GPU는 학습과 일반 챗봇 추론에는 강하지만 에는 항상 잘 맞지 않을 수 있다. 의 SN40L/SN50과 NVIDIA의 H200/B200을 비교한 결과, 기존 GPU 인프라는 많은 토큰을 한꺼번에 싸게 만들어내는 일에 더 맞춰져 있다는 평가다. 챗봇에서는 사용자 한 명당 토큰 생성 속도가 낮아도 전체 비용이 낮으면 괜찮을 수 있다.
반면 에이전트는 긴 문맥을 읽고, 조사하고, 판단하고, 도구를 여러 번 부른 뒤 짧은 결과를 조금씩 내는 방식으로 움직인다. 이런 작업은 출력보다 입력이 훨씬 많아질 수 있고, 예시 비율은 입력 65 대 출력 1이다. NVIDIA는 답변을 만들기 전에 입력을 빠르게 읽는 에서는 매우 강하다는 평가도 함께 나온다.
의 Reurable Dataflow Unit은 이런 길고 순서가 있는 에 더 잘 맞게 설계됐다는 주장이다.
핵심 포인트
- NVIDIA GPU는 학습과 챗봇 추론에는 강하지만 에는 한계가 있을 수 있다.
- 에이전트는 긴 문맥을 읽고 짧은 도구 호출을 반복하기 때문에 입력 토큰 비중이 매우 크다.
- 예시로 제시된 비율은 입력 65 대 출력 1이다.
- NVIDIA는 에는 강하지만, 전체 의 병목은 다를 수 있다.
- 의 Reurable Dataflow Unit은 이런 에 맞는 대안으로 제시된다.