문서를 지식 그래프로 묶어 답변 검색을 더 정확하게 만드는 파이프라인
원문 텍스트를 가져와 정리한 뒤, 겹치는 부분이 있는 작은 조각으로 나누어 주변 문맥을 잃지 않게 한다. 각 조각에서 사람, 회사, 제품 같은 이름 있는 대상을 뽑고, 같은 조각에 함께 나온 대상끼리 연결해 를 만든다. 이 그래프는 어떤 대상들이 서로 관련되어 있는지와 그 근거가 된 을 함께 저장한다.
그래프 안의 대상들은 주제별 묶음으로 나뉘고, 각 묶음에서 무작위로 고른 을 LLM에 보내 큰 주제 요약을 만든다. 검색 단계에서는 전체를 에 넣고, 같은 자료에 대해 BM25 색인도 만든다. 질문이 들어오면 의미가 비슷한 조각을 찾는 검색과 단어가 잘 맞는 조각을 찾는 검색을 함께 돌리고, 질문에서 뽑은 대상을 기준으로 그래프의 가까운 연결도 따라가 관련 조각을 더 찾는다.
마지막에는 여러 경로에서 나온 결과를 합치고 해 답변에 쓸 자료를 고른다. 목표는 긴 문서 검색에서 중요한 내용이 가운데에 묻혀 빠지는 문제를 줄이고, 여러 단계를 거쳐야 하는 질문에 더 좋은 근거를 주는 것이다.
핵심 포인트
- 원문을 작은 조각으로 나누되 겹치는 부분을 둬서 가까운 문맥을 보존한다.
- 에서 이름 있는 대상을 뽑아 서로 함께 나온 관계를 로 연결한다.
- 주제 묶음마다 일부 조각을 LLM에 보내 요약을 만들고, 큰 연결점에 치우치는 문제를 줄이려 한다.
- 질문이 들어오면 , BM25 검색, 그래프 연결 탐색을 함께 사용한다.
- 여러 검색 결과를 합치고 해 답변에 넣을 근거 조각을 고른다.