1600만 파라미터 소형 모델이 Gemini Embedding을 능가, 가중치 공개
EximiusLabs가 'Fusion 1.2B '라는 임베딩 모델을 공개했다. 임베딩이란 문장이나 문서를 숫자 벡터로 바꿔 의미가 비슷한 글끼리 가깝게 배치하는 기술로, 검색·추천·RAG() 시스템의 핵심 부품이다. 이 모델은 학습 가능한 파라미터를 단 1600만 개만 사용했는데도, 구글의 최신 임베딩 모델인 Gemini 보다 벤치마크 성능이 더 높다고 주장한다.
파라미터가 적다는 것은 모델을 학습시키고 실행하는 데 필요한 연산량과 비용이 훨씬 적다는 뜻이다. 는 에 오픈소스로 공개되어 누구나 내려받아 직접 써볼 수 있다.
핵심 포인트
- EximiusLabs가 'Fusion 1.2B ' 임베딩 모델을 공개
- 학습 가능한 파라미터 1600만 개만으로 구글 Gemini 능가를 주장
- 는 에서 오픈소스로 다운로드 가능
- 임베딩은 검색·추천·RAG 시스템에 쓰이는 문장→벡터 변환 기술