로컬 문서 RAG 시스템 설계에서 봐야 할 핵심
로컬 문서 RAG 시스템은 회사 문서를 클라우드에 올리지 않고, 개인 컴퓨터나 내부 서버 안에서 검색과 답변 생성을 처리하려는 설계입니다. 대상 문서는 PDF, 스캔 PDF, DOCX, XLSX, CSV, 이미지 파일까지 포함됩니다. 폴더를 감시해 파일이 추가, 수정, 삭제되면 자동으로 읽어들이고, 하위 폴더 구조를 이용해 문서에 자동 태그를 붙이려는 방식입니다.
같은 문서가 다시 올라오면 버전을 관리해야 합니다. 검색은 특정 고객의 문서 안에서만 이뤄져야 하며, 다른 고객 문서가 섞이면 안 됩니다. “1 lakh 루피 초과 송장 보기” 같은 조건 검색, “2023 회계연도와 2024 회계연도 매출총이익 비교” 같은 비교 검색, 일반 키워드 검색이 모두 필요합니다.
답변은 만 사용해 만들고, 모든 주장에는 문서 이름과 페이지 번호가 붙어야 합니다. PDF는 강조 표시된 문서로 보여주고, XLSX는 색칠된 셀로 내보내며, 답변에서 바로 해당 페이지나 여러 문서의 강조 위치로 이동할 수 있어야 합니다. 설계상 중요한 고민은 LiteParse 같은 파싱 도구를 쓸지, PDF 강조 표시를 위해 문서 아이디와 청크 아이디를 저장해야 하는지, 같은 나 가 필요한지입니다.
핵심 포인트
- 문서는 PDF, 스캔 PDF, DOCX, XLSX, CSV, JPG, PNG까지 로컬에만 저장하는 구조입니다.
- 폴더 감시로 파일 추가, 수정, 삭제를 자동 반영하고, 폴더 구조로 자동 태그를 붙이려 합니다.
- 고객별 문서 격리가 필요해 다른 고객 자료가 검색 결과에 섞이면 안 됩니다.
- 답변의 모든 주장은 문서 이름과 페이지 번호로 근거를 붙여야 합니다.
- 강조 표시를 위해 문서 아이디, 청크 아이디, 임베딩 저장 방식이 중요한 설계 포인트입니다.