작은 임베딩 모델과 큰 모델 사이의 비용·정확도 선택
현재 구성은 에서 Jina의 작은 과 Jina 을 모두 Q8 형식으로 돌리는 방식이다. 앞으로는 큰 을 직접 돌리지 않고 를 쓰려는 계획이다. 이렇게 하면 기기 자원을 아껴 더 큰 이나 에 쓸 수 있다.
핵심 고민은 0.6B급 작은 모델을 계속 쓸지, 4B급 더 큰 로 바꿀지다. 쓰임새가 글쓰기와 수학이라서, 단순히 빠르고 가벼운 것보다 정확도가 중요하다.
핵심 포인트
- 현재는 Jina의 작은 과 을 Q8 형식으로 사용한다.
- 큰 은 로컬 실행 대신 로 옮기는 방안을 검토 중이다.
- 절약한 로컬 자원을 더 큰 과 에 배분할 수 있다.
- 선택지는 0.6B급 작은 모델 유지 또는 4B급 사용이다.
- 글쓰기와 수학 작업에서는 검색 결과의 정확도가 특히 중요하다.