생화학 박사가 새로 설계한 RAG 엔진, MuSiQue 벤치마크로 검증
한 개발자가 기존 오픈소스를 조합한 것이 아니라 처음부터 새로 설계한 그래프 기반 검색(RAG) 엔진을 공개했다. 개발자는 생화학 박사 학위를 가지고 20년 가까이 제약·바이오테크 업계에서 일해온 사람으로, 생물학 지식을 바탕으로 아키텍처를 설계했다고 밝혔다.
성능 검증을 위해 HippoRAG 2와 동일한 코퍼스(위키피디아 문단 11,656개)를 사용해 멀티홉 질의응답 인 의 1,000개 질문 세트를 돌렸고, 그중 답변 가능한 496개 질문으로 점수를 냈다. 평가 지표는 으로, LLM 판정 없이 토큰 단위 정밀도·재현율을 으로 계산하는 방식이다.
비교 대상은 , , HippoRAG2였다. 결과와 방법론, 한계점을 모두 공개했으며 정리 과정에는 AI의 도움을 받았다고 밝혔다.
핵심 포인트
- 기존 오픈소스를 짜깁기한 게 아니라 새로 설계한 그래프 기반 RAG 엔진
- HippoRAG 2와 동일한 코퍼스(위키피디아 문단 11,656개)로 검증
- 1,000개 질문 중 답변 가능한 496개로 채점
- 평가 지표는 LLM 판정 없는 (토큰 단위 정밀도·재현율)
- , , HippoRAG2와 결과 비교