VultronRetriever, 기기 안에서 빠른 검색·질의응답 겨냥
VultronRetriever 모델 제품군이 에 공개됐다. Raise Summit Paris에서 공개됐고, 아이폰에서 인터넷 없이 질의응답과 문서 임베딩을 실행하는 모습이 시연됐다. 각 모델은 의 해당 크기 부문에서 1위를 기록했다고 소개됐으며, VultronRetrieverPrime-8B는 전체 1위로 제시됐다.
Prime-8B는 이전 9B급 선두 모델보다 색인 저장 공간을 최대 16분의 1로 줄이고, 처리량은 최대 12배 높였다고 한다. VultronRetrieverCore-4.5B는 Prime 다음 순위이며, 자기보다 두 배 큰 모델보다 좋은 성능을 낸다고 소개됐다. VultronRetrieverFlash-0.8B는 최대 5배 큰 모델을 앞서고, 기기 안에서 낮은 발열로 실행되며, 인터넷 없이 분당 최대 60장 이미지를 색인할 수 있다고 한다.
Hydra 와 함께 쓰면 을 높은 정밀도로 실행하고, 생성 작업은 비슷한 모델보다 메모리를 최대 절반까지 덜 쓸 수 있다고 소개됐다. 학습 데이터는 서로 다른 데이터셋 간 중복과 평가 데이터 섞임이 0%였고, 비공개 MTEB 평가에서도 과적합이 보이지 않았다고 한다.
핵심 포인트
- VultronRetriever 모델 제품군이 에 공개됐다.
- 아이폰에서 인터넷 없이 질의응답과 문서 임베딩을 실행하는 시연이 있었다.
- Prime-8B는 이전 9B급 선두 모델보다 색인 저장 공간을 최대 16분의 1로 줄이고 처리량을 최대 12배 높였다고 소개됐다.
- Flash-0.8B는 기기 안에서 실행되며, 인터넷 없이 분당 최대 60장 이미지를 색인할 수 있다고 한다.
- Hydra 와 함께 쓰면 생성 작업의 을 비슷한 모델 대비 최대 절반까지 줄일 수 있다고 소개됐다.