AI 메모리 평가, LongMemEval만 믿기 어렵다는 문제 제기
은 을 평가하는 데 쓰이지만, 이제 신뢰하기 어렵다는 비판을 받고 있다. 이 는 2024년 말에 나왔고, 주로 을 읽고 질문에 답하는 능력만 본다. 실제 은 오래된 정보 저장, 필요한 정보 찾기, 잘못된 기억 피하기 등 더 넓은 일을 해야 하므로 평가 범위가 좁다.
최근 상위 점수는 90~95%에 몰려 있어 제품이나 모델의 차이를 잘 가르지 못한다. 더 큰 문제는 평가 방식이 충분히 공개되지 않은 높은 점수가 관심을 더 많이 받는다는 점이다. 예를 들어 실행 방법을 자세히 밝힌 81.5% 점수보다, 방법 설명이 부족한 95% 최고 성능 주장이 더 큰 관심을 받을 수 있다.
그래서 신뢰할 수 있는 기관이 와 정해진 모델 목록으로 운영하는 새 메모리 가 필요하다는 주장이 나온다.
핵심 포인트
- 은 2024년 말에 나온 평가용 다.
- 현재 평가는 질문 답변에 치우쳐 있어 실제 전체를 보기 어렵다.
- 상위 점수가 90~95%에 몰리면서 제품 간 차이를 구분하기 어려워졌다.
- 평가 방법을 공개하지 않은 높은 점수가 자세한 방법을 밝힌 낮은 점수보다 더 주목받을 수 있다.
- 신뢰 기관, , 정해진 모델 조건을 갖춘 새 평가 방식이 필요하다는 제안이다.