문서 검색을 더 싸고 정확하게 만드는 질문-답변 데이터
큰 기술 문서에서는 OCR이나 PDF 분석기가 글, 표, 배치, 일부 이미지를 꽤 잘 뽑아도 답을 찾기 어려운 경우가 많습니다. 중요한 근거가 여러 청크로 나뉘거나, 잡음이 섞이거나, 표와 그림 안에 숨어 있으면 검색기가 필요한 부분을 제대로 가져오지 못합니다.
해결 방향은 더 좋은 도구만 기다리지 않고, 문서에서 만든 을 중간 데이터로 다루는 것입니다. 흐름은 PDF나 문서를 OCR 또는 PDF 분석기로 읽고, 마크다운이나 배치 JSON으로 바꾼 뒤, 청크로 나누고 정리한 다음, 이나 을 만들고, 걸러내고 평가해서 RAG나 에 쓰는 방식입니다.
은 최종 답변이 아니라 검색 품질을 높이는 가 됩니다. 지저분한 청크는 더 깨끗한 지식 조각으로 바꿀 수 있고, 긴 문서는 근거가 붙은 여러 으로 나눌 수 있으며, multi-hop 은 단순 검색이 놓치는 관계를 드러낼 수 있습니다.
핵심 포인트
- OCR과 PDF 분석만으로는 큰 기술 문서의 중요한 근거를 안정적으로 찾기 어렵습니다.
- 을 최종 결과가 아니라 을 돕는 중간 데이터로 쓰는 접근입니다.
- 문서 흐름은 추출, 청크 나누기, 정리, 질문-답변 생성, 필터링과 평가, RAG 활용 순서입니다.
- 지저분한 청크를 깨끗한 지식 조각으로 바꾸면 에이전트가 덜 많은 문맥을 읽어도 됩니다.
- 표와 그림은 으로 다루면 일반 텍스트 검색이 놓치는 정보를 보완할 수 있습니다.