대규모 RAG용 PDF 변환에서 비용과 품질 사이의 선택
대규모 의료 정책 문서를 RAG에 넣기 위해 PDF를 마크다운으로 바꾸는 과정에서 속도와 품질의 균형이 핵심 문제가 된다. 처리 대상은 수천 개의 PDF이며, 많은 문서가 100쪽에서 400쪽이 넘는다. 표 정보가 중요하고, 일부 파일에는 OCR이 필요하며, 영어·프랑스어·스페인어 문서가 섞여 있다.
문서 상태도 좋지 않아 회전된 페이지, 스캔본, 복잡한 배치, 도장, 손글씨 메모, 낮은 품질의 스캔이 포함된다. 비용과 규모 때문에 LLM이나 VLM으로 처리할 수 없고, 개인 저장소에서 써야 하므로 MIT, , BSD 같은 허용적 라이선스가 필요하다. PyMuPDF는 매우 빠르지만 배치와 표 구조를 많이 잃는다.
PyMuPDF4LLM은 결과가 더 좋고 여전히 빠르지만 AGPL 라이선스가 걸림돌이다. 은 VLM 없이 쓸 때 표 추출과 배치 복원이 훨씬 낫지만, 큰 문서에서는 속도가 크게 느리다.
핵심 포인트
- 수천 개의 긴 PDF를 RAG에 넣으려면 변환 속도가 매우 중요하다.
- 표, 배치, OCR 품질이 낮으면 검색과 답변 품질도 함께 떨어질 수 있다.
- LLM이나 VLM을 쓰지 않는 이유는 처리량이 크고 비용이 많이 들기 때문이다.
- PyMuPDF는 빠르지만 표와 배치 보존이 약하다.
- 은 품질이 좋지만 대형 속도가 느리다.