검색증강생성 자료 처리 구조: 문서를 먼저 구역 단위로 정리
시스템을 학습 목적으로 처음부터 만들며, 같은 없이 각 처리 단계를 직접 설계했다. 현재 완성된 수집·가공 흐름은 PDF 읽기, 구역 만들기, 결과물 저장, 재귀 분할, 조각 묶기의 순서다. PDF는 로 마크다운 형태로 바꾼 뒤 처리한다.
문서를 곧바로 작은 조각으로 자르지 않고, 먼저 제목 구조와 문단, 표, 수식 정보, 다이어그램, 기타 정보를 담은 구역으로 정리한다. 각 구역에는 내용이 같으면 항상 같은 값이 나오는 식별자를 붙인다. 이렇게 문서 구조와 검색용 조각을 분리하면 모든 정보를 각각의 조각에 반복해서 넣지 않아도 된다.
임베딩과 검색 기능은 아직 만들기 전이며, 실제 에서 놓치기 쉬운 문제와 더 나은 설계 방식을 검토하는 단계다.
핵심 포인트
- PDF를 읽은 뒤 구역 생성, 저장, 재귀 분할, 조각 묶기 순서로 처리한다.
- 문서를 바로 자르지 않고 제목 구조, 문단, 표, 수식, 다이어그램을 구역에 먼저 보존한다.
- 각 구역에 기반의 일정한 식별자를 붙인다.
- 없이 직접 구현해 각 계층과 설계 결정을 학습한다.
- 임베딩과 검색은 아직 구현 전이라 품질과 비용 개선 효과는 확인되지 않았다.