복잡한 문서도 안정적으로 처리하는 RAG 수집 파이프라인 설계법

크고 지저분한 문서를 다루는 RAG(검색 증강 생성) 시스템을 만들 때 수집(ingestion) 단계를 어떻게 견고하게 설계할지 다룬 글이다. 실제 문서 처리 시스템을 구축한 경험을 바탕으로, 문서를 잘게 쪼개는 청킹 방식, 표나 이미지처럼 다루기 까다로운 요소 처리, 메타데이터를 함께 저장해 검색 정확도를 높이는 방법 등 실무에서 부딪히는 문제들을 정리했다. 저자는 이것이 정답이 아니라 자신의 접근 방식이라 밝히며, 다른 사람들의 노하우도 듣고 싶다고 덧붙였다.