neuron-db, 같은 정확도에 토큰 비용을 크게 줄였다는 주장
는 1홉, 2홉, 3홉 질의에서 모두 100% 정확도를 냈다는 자체 벤치마크 결과가 제시됐다. 홉은 답을 찾기 위해 여러 단계로 이어진 정보를 따라가는 깊이를 뜻한다. 어떤 홉 깊이든, 메모리 크기가 커지든 은 항상 2번으로 유지됐다고 한다.
전체 덤프 방식과 비교하면 정확도는 같거나 더 높고, 은 약 60분의 1 수준이라고 주장한다. 반대로 6만 7천 토큰짜리 덤프를 한꺼번에 모델에 넣는 방식은 규모가 커질수록 모델이 추론을 헷갈려 정확도가 83%까지 떨어졌다고 한다.
핵심 포인트
- 는 1홉, 2홉, 3홉 질의에서 100% 정확도를 냈다고 주장한다.
- 홉 깊이나 메모리 크기와 관계없이 은 2번으로 고정됐다고 한다.
- 덤프 방식보다 이 약 60배 낮다고 제시됐다.
- 6만 7천 토큰 덤프는 규모가 커지자 정확도가 83%로 떨어졌다고 한다.
- 의 설계와 절감에 직접 관련된 내용이다.