로컬 Qwen 기반 검색 방식, 정확도는 높지만 속도는 매우 느림
개인 프로젝트인 ClawIndex는 문서를 찾을 때 단순히 비슷한 문장을 맞추는 대신, 색인을 한 번 추론하며 살펴보는 검색 방식이다. 임베딩이나 없이 동작했고, 전체 실험은 자체 컴퓨터의 Qwen에서 실행되어 데이터가 밖으로 나가지 않았다. 700개 질문으로 비교했으며, 구성은 HotpotQA 500개, BEIR ArguAna 100개, BEIR SciDocs 100개였다. ClawIndex는 다섯 개 데이터 묶음 모두에서 점수가 가장 높았고, HotpotQA 전체에서는 0.934를 기록했다.
여러 단서를 이어야 하는 다단계 질문에서는 0.920으로 의 0.837보다 높았다. HotpotQA 500개 중 51개는 예비 처리 경로를 썼지만, 모두 추적 가능한 유효 결과를 냈다. 단점도 뚜렷했다. 는 두 BEIR 에서 MRR@10 기준으로 더 좋았고, SciDocs 차이는 0.975 대 0.972라서 표본 100개 기준에서는 확실한 승리라고 보기 어렵다.
HotpotQA도 더 어려운 전체 위키 설정이 아니라 방해 문서가 섞인 설정이어서, 같은 기존 연구와의 비교는 조건이 다를 수 있다. 가장 큰 문제는 속도다. ClawIndex는 질문 하나에 약 27초가 걸렸지만 는 약 7밀리초였다.
핵심 포인트
- ClawIndex는 임베딩과 없이, Qwen이 색인을 추론하며 찾는 방식이다.
- 실험은 700개 질문으로 진행됐고, 모든 처리는 로컬 컴퓨터에서 이뤄졌다.
- 기준으로 다섯 개 데이터 묶음 모두에서 가장 높은 점수를 냈다.
- 다단계 질문에서는 ClawIndex 0.920, 0.837로 차이가 컸다.
- 질문 하나 처리 시간이 약 27초라서 의 약 7밀리초보다 훨씬 느렸다.