비싼 에이전트 검색 도구가 더 좋은 답을 내지는 않았다
개인 벤치마크에서 에이전트가 같은 121개 검색 과제를 9가지 로 풀었다. 각 조합은 3번씩 반복됐고, 채점된 답변은 모두 3,267개였다. 결과는 가격이 높을수록 품질도 높아진다는 기대와 달랐다.
은 전체 1위를 했고, 최신 정보가 필요한 84개 과제 중 80개를 통과했다. Serper는 전체 2위였고 성공 답변 1,000개당 14.46달러가 들었으며, 다음으로 싼 도구의 절반보다 낮은 비용이었다. Serper는 Claude의 기본 웹 검색보다도 싼 유일한 도구였다.
Tavily는 근거 없는 출처를 붙이는 문제가 가장 적었지만, 최신 정보 과제에서는 약했다. 도구 선택에는 단순 순위만으로 부족해서 과제 유형별 결과, 신뢰구간, 실패 유형, 전체 비용 계산을 함께 봐야 한다.
핵심 포인트
- 121개 검색 과제를 9가지 로 테스트했다.
- 총 3,267개의 답변이 채점됐다.
- 은 최신 정보 과제 84개 중 80개를 통과했다.
- Serper는 성공 답변 1,000개당 14.46달러로 매우 낮은 비용을 보였다.
- Tavily는 조작 답변이 가장 적었지만 최신 정보에는 약했다.