기존 벡터 저장 공간을 49% 줄인 압축 방식
CyBurn Digital 팀은 시스템에서 쓰는 저장 공간을 49% 줄였다고 주장한다. 문제는 1024차원 임베딩을 클라우드에 보관하는 비용이 컸다는 점이다. 의 SQ 같은 기본 양자화는 숫자의 정밀도만 낮추기 때문에 실제 차원 수를 줄이지 못했다.
목표는 정확도를 크게 해치지 않으면서 차원을 물리적으로 절반 가까이 줄이는 것이었다. Matryoshka Representation Learning은 처음부터 그렇게 훈련된 모델에는 맞지만, 이미 BGE-M3 같은 일반 모델로 만든 수백만 개의 기존 벡터에는 바로 쓰기 어렵다. 모든 데이터를 다시 임베딩하는 비용도 너무 커서 선택지가 아니었다.
PCA나 SVD 같은 표준 축소 방식은 긴 꼬리 쪽 정보 손실이 생겨 원하는 결과를 내지 못했다. 그래서 실행 코드는 공개하지 않고, 사후 반복 잔차 축소라는 수학적 구조와 시험용 샌드박스를 공개해 검증을 요청하고 있다.
핵심 포인트
- 1024차원 임베딩을 저장하는 클라우드 비용이 병목으로 제시됐다.
- 목표는 정확도를 크게 잃지 않고 벡터 차원을 절반 가까이 줄이는 것이다.
- 기본 양자화는 숫자 정밀도만 낮추며 차원 수 자체는 줄이지 못한다.
- 이미 만든 수백만 개의 기존 벡터를 다시 임베딩하는 비용은 너무 크다고 판단했다.
- 핵심 코드는 비공개이고, 수학 구조와 라이브 샌드박스만 공개됐다.