AI 에이전트가 SaaS API를 고르는 공개 벤치마크
OpenFunnel의 Fenil과 Aditya가 Open를 공개했다. 목표는 가 를 비교하고, 어떤 서비스를 살지 또는 직접 만들지 판단할 때 믿을 수 있는 자료를 주는 것이다. 첫 분야는 영업·마케팅용 API다.
핵심 생각은 B2B 소프트웨어 평가가 사람의 검색과 영업 자료보다 Claude, ChatGPT, Gemini 같은 추론 모델이 들어간 안에서 더 많이 이뤄질 것이라는 점이다. Open는 공급사의 홍보 문구나 자체 성과표 대신, 데이터와 채점 방식과 비용 조건을 공개하고 재현할 수 있게 만든다. 각 결과에는 실제 과 응답, 에게 준 지시문과 평가 결과가 함께 붙는다.
현재 예시는 닮은 회사 찾기 벤치마크로, 24개 기준 회사에 대해 4개 공급사가 각각 100개 후보를 내고 가 쓸 만한 결과인지 판정한다. 이 벤치마크의 최고 정확도@100은 57%이며, 음성 합성·음성 인식 벤치마크도 함께 보여준다.
핵심 포인트
- Open는 에이전트가 를 비교하도록 만든 공개 벤치마크다.
- 첫 대상은 영업·마케팅용 API이며, 닮은 회사 찾기 벤치마크가 포함된다.
- 각 결과는 실제 ·응답과 의 지시문·응답을 함께 공개한다.
- 닮은 회사 찾기에서는 24개 기준 회사와 4개 공급사를 비교했고, 최고 정확도@100은 57%다.
- 음성 합성과 음성 인식 벤치마크도 있으며, 빠른 응답 시간과 단어 오류율을 비교한다.