문서를 AI가 읽기 좋게 바꾸는 오픈소스 RAG 도구
PatSnap이 특허 문서를 대량으로 처리하기 위해 내부에서 쓰던 문서 파싱 도구 2개를 오픈소스로 공개했다. Hiro-Smart-Doc은 PDF, 오피스 문서, 이미지에서 페이지 구조를 먼저 찾고, 각 영역을 올바른 읽기 순서로 처리해 마크다운으로 내보내는 파이프라인이다. 페이지 안의 영역은 RT-DETR로 25가지 종류로 나누며, 여러 단으로 된 문서도 읽는 순서를 맞춘다.
표는 HTML, 수식은 LaTeX, 일반 글은 마크다운으로 정리된다. 글자 인식에는 Hiro-MOSS-OCR이 쓰이며, 이 모델은 5천만 건이 넘는 기술 문서로 처음부터 학습된 0.3B 크기의 OCR 모델이다. v1.5 점수는 93.63이고, vLLM을 쓰면 한 장에서 초당 58건을 처리한다고 한다.
두 도구 모두 로 공개됐다.
핵심 포인트
- PDF, 오피스 문서, 이미지에서 문서 구조를 찾아 마크다운으로 바꾼다.
- 표는 HTML, 수식은 LaTeX, 일반 글은 마크다운으로 분리해 저장한다.
- Hiro-MOSS-OCR은 5천만 건 이상의 기술 문서로 학습된 0.3B OCR 모델이다.
- 한 장에서 vLLM 기준 초당 58건 처리 성능을 제시했다.
- 라 상업적 활용 검토가 비교적 쉽다.