연구 논문용 검색 증강 생성 시스템, 무엇부터 평가해야 하나
연구 논문을 찾아 답변에 활용하는 시스템을 scholarweave/arxiv-latex 데이터로 설계하려는 초기 단계 사례다. 가장 큰 어려움은 시스템에 넣을 논문의 양이 많고, 평가 기준도 지나치게 다양하다는 점이다. 평가 도구마다 일반 검색, 과학 논문, 프로그래밍 문제, 영어 게시판, 이미지와 텍스트를 함께 다루는 자료 등 대상이 다르다.
일부는 에이전트가 여러 단계로 자료를 찾는 능력을 평가하고, 일부는 만 시험하며, 다른 도구는 전체 검색 과정이나 최종 답변의 품질까지 측정한다. 별도의 을 으로 사용해 결과를 채점할 수 있다. 검토한 후보 중 LitSearch는 주로 논문 제목과 초록을 사용했다.
LitSearch 측에서는 논문 본문 일부를 추가해도 큰 도움이 없었다고 봤지만, 실제로 사용한 본문은 에 따라 처음 512~2,000토큰 정도에 그쳤다. BEIR도 평가 후보로 검토되고 있으나, 제공된 내용에는 구체적인 적용 방법이나 결과가 없다.
핵심 포인트
- scholarweave/arxiv-latex 데이터로 연구 논문 검색 시스템을 설계하는 초기 단계다.
- 평가 도구마다 , 자료 검색, 전체 처리 과정, 최종 답변 등 측정 대상이 다르다.
- 을 으로 활용할 수 있다.
- LitSearch는 주로 논문 제목과 초록을 사용했다.
- 논문 본문 실험은 처음 512~2,000토큰 정도만 사용해 전체 본문의 효과를 판단하기에는 제한이 있다.