AI 메모리는 답변 점수보다 검색 성능을 따로 봐야 한다
은 질문에 대한 최종 답변만 평가하면 실제로 필요한 정보를 잘 찾아왔는지 알기 어렵다. PrecisionMemBench는 답변을 생성한 뒤 평가자가 채점하는 방식 대신, 미리 정해 둔 믿음 식별자와 실제로 찾아온 항목이 얼마나 겹치는지로 정밀도와 재현율을 계산한다. 그래서 평가자 프롬프트, 의미가 같은지 판단하는 규칙, 업체가 자기 방식에 맞게 조정할 수 있는 별도 채점층을 빼는 것이 핵심이다.
이 벤치마크는 89개 사례로 구성되어 있고 로 공개됐다. 업체가 직접 점수를 제출하는 방식이 아니라, 평가 도구가 각 업체의 래퍼를 실행해 결과를 공개하는 구조다. 공개된 표에서는 tenure가 43개 활성 테스트를 모두 통과했고 평균 정밀도와 평균 재현율이 모두 1.00이었다.
다른 시스템들은 재현율이 높아도 정밀도가 낮은 경우가 많았고, 검색 속도와 데이터 넣는 시간도 큰 차이를 보였다.
핵심 포인트
- PrecisionMemBench는 의 최종 답변 품질이 아니라 검색 결과 자체를 평가한다.
- 정밀도와 재현율은 미리 정해 둔 믿음 식별자와 검색 결과의 겹침으로 계산된다.
- 평가자 프롬프트나 별도 채점층을 없애 업체가 점수를 맞춤 조정하기 어렵게 한다.
- 89개 사례가 로 공개됐고, 평가 도구가 업체 래퍼를 직접 실행해 결과를 낸다.
- 공개 결과에서 tenure는 평균 정밀도 1.00, 평균 재현율 1.00, 검색 중앙값 9.77밀리초를 기록했다.