에이전트 속도는 초당 토큰보다 총 토큰 수가 더 컸다
로컬 장비에서 같은 을 두 모델로 비교하자, 더 빨리 말하는 모델보다 덜 길게 생각하는 모델이 응답을 더 빨리 끝냈다. 는 평균 1,856개의 사고 토큰을 썼고, Cap-27B는 평균 675개를 썼다. 정답 수는 확인 가능한 12개 답변 중 둘 다 10개로 같았다.
전체 응답 시간은 평균 30.1초에서 17.8초로 줄었고, 긴 추론이 필요한 요청에서는 최대 3.2배 빨라졌다. Cap-27B는 토큰을 내보내는 속도 자체는 더 느렸지만, 내보내는 토큰 수가 훨씬 적어서 총 시간이 줄었다. 별도 평가에서는 도구 이름을 맞히는 정확도가 0.089에서 0.179로 약 두 배가 됐다.
다만 모델 안에 저장된 배경지식을 떠올리는 평가는 0.236에서 0.194로 떨어져, 검색 없이 모델의 기억에 많이 기대는 에이전트에는 손해가 있을 수 있다.
핵심 포인트
- 같은 정확도에서 사고 토큰이 평균 1,856개에서 675개로 줄었다.
- 평균 응답 시간은 30.1초에서 17.8초로 줄었다.
- 긴 에서는 최대 3.2배 빠른 결과가 나왔다.
- 에서 도구 이름을 맞히는 정확도가 약 두 배로 올랐다.
- 모델 안의 배경지식에 기대는 작업은 성능이 떨어질 수 있다.