AI 에이전트용 RAG 인프라에 필요한 기본 기능 정리
오픈소스 RAG 인프라는 기존 앱에 붙여 쓰는 형태를 목표로 한다. 문서를 작은 조각으로 나눌 때 문서 종류에 맞춰 문단 단위, 겹치는 구간 방식 같은 여러 전략을 쓸 수 있다. 과 HTML에서는 제목 구조를 각 조각에 함께 남겨 문서 안 위치를 알 수 있게 한다.
표 파일에서는 각 조각에 열 제목을 함께 붙여 의미를 잃지 않게 한다. HTML, , PDF, 텍스트, , XML, DOCX, , CSV, 같은 여러 형식을 읽고, 로컬 파일, 웹 주소, S3에서 가져올 수 있다. 문서에는 필터링용 를 붙일 수 있다.
검색은 BM25와 을 함께 쓰며, 기본 비중은 벡터 0.7, 키워드 0.3이지만 조정할 수 있다. 문서 속성 필터로 PDF만 보거나 특정 태그가 붙은 문서만 찾을 수 있고, 검색 결과는 조각과 원본 문서 정보를 함께 돌려준다.
핵심 포인트
- 기존 앱에 붙여 쓸 수 있는 오픈소스 RAG 인프라를 목표로 한다.
- 문서 종류에 따라 문단 단위, 겹치는 구간 방식 등 다른 조각 나누기 전략을 쓴다.
- 과 HTML 조각에는 제목 경로를 남기고, 표 조각에는 열 제목을 함께 붙인다.
- BM25와 을 함께 쓰며 검색 비중을 조정할 수 있다.
- 문서 형식, 태그 같은 로 검색 대상을 좁힐 수 있다.