관계 자체를 검색 문서로 만든 BaryGraph

Bary에서 두 개념 사이의 관계를 단순한 선으로 두지 않고, 검색 가능한 독립 문서로 다룬다. 이 관계 문서는 BaryEdge라고 부르며, 각 관계마다 자체 를 가진다. 여러 BaryEdge를 다시 묶으면 MetaBary라는 세 항목 구조가 만들어지고, 서로 멀리 떨어져 보이는 개념 사이의 숨은 연결을 찾는 데 쓰인다.

기본 벡터 검색은 가까운 점만 찾기 때문에, 표현은 다르지만 같은 현상을 다루는 자료를 놓칠 수 있다는 문제를 겨냥한다. 예시는 궤도 역학의 비행체 이상 현상과 항성 역학의 이상 잔차처럼, 서로 인용하지 않고 임베딩 공간에서도 멀리 있는 개념을 연결하는 경우다. 구현은 Community, mongot, nomic-embed-text를 로컬에서 사용하며, 전체 영어 Wiktionary 660만 문서를 대상으로 돌렸다.

도 열려 있고, 사전 논문과 벤치마크 CSV가 공개되어 있다.

핵심 포인트

  • Bary는 관계를 그래프의 선이 아니라 검색 가능한 문서로 저장한다.
  • BaryEdge는 관계마다 자체 를 가진다.
  • MetaBary는 여러 관계를 묶어 멀리 떨어진 개념 사이의 숨은 연결을 찾는 방식이다.
  • 에서 Community, mongot, nomic-embed-text를 사용해 영어 Wiktionary 660만 문서를 처리했다.
  • , 사전 논문, 벤치마크 CSV가 공개되어 직접 확인할 수 있다.
원문 보기