HyperspaceDB 3.1, 벡터 검색 메모리 사용을 크게 줄였다는 주장
HyperspaceDB 3.1.0은 과 자율 에 쓰는 의 메모리 문제를 줄이기 위한 새 버전이다. 기존 방식은 1536차원 벡터와 JSON 메타데이터를 메모리에 많이 올려야 해서, 데이터가 수백만 개로 늘면 램 사용량이 커지고 메모리 부족으로 멈출 수 있다. 새 엔진은 전체 벡터를 한꺼번에 메모리에 올리지 않고, 129차원짜리 가벼운 검색용 핵심 부분만 빠른 램에 둔다.
더 무거운 672차원 의미 정보는 최종 후보를 다시 순위 매길 때 NVMe 저장장치에서 불러온다. 공개된 자체 테스트에서는 벡터 10만 개 기준 HyperspaceDB가 약 72MB의 램을 썼고, Chroma는 3000MB 초과, 는 약 1700MB를 썼다고 한다. 또 법률 조항이나 의료 분류처럼 위아래 관계가 중요한 자료를 더 잘 다루기 위해 801차원 하이브리드 벡터를 도입했다.
이 벡터는 Lorentz 방식과 Euclidean 방식을 함께 쓰는 구조라고 설명된다.
핵심 포인트
- HyperspaceDB 3.1.0은 과 자율 용 검색 엔진 개선을 내세운다.
- 전체 벡터를 램에 올리지 않고, 129차원 핵심 부분만 램에 둔다.
- 672차원 의미 정보는 최종 후보를 다시 고를 때 NVMe 저장장치에서 불러온다.
- 자체 테스트에서 벡터 10만 개 기준 램 사용량은 약 72MB였다고 한다.
- Chroma와 보다 램 사용량이 훨씬 낮았다는 비교 수치를 제시했다.