PDF 변환 방식에 따라 AI의 문서 답변 정확도가 크게 달라졌다
PDF를 마크다운으로 바꿀 때 글자가 정확히 옮겨져도 숫자와 항목의 연결이 끊어질 수 있다. 그러면 AI는 문서에 실제로 있는 숫자를 사용하면서도 엉뚱한 뜻으로 답할 수 있다. 이를 확인하기 위해 변환된 문서만 읽은 AI가 검증된 질문 1,410개에 답하는 RCRR 평가가 만들어졌다.
일본어 재무 문서를 14개 시스템으로 시험한 결과, 전체 점수는 가 94.6점, 자체 VLM 조정 방식이 94.4점, 이 94.0점이었다. Azure Document 는 88.2점, 자체 운영 가능한 320억 매개변수 모델은 87.3점, Mistral OCR은 73.6점이었고, 기존 방식들은 20~66점에 머물렀다. 차트만 보면 는 98.1점, 은 97.1점이었지만 Azure Document 는 69.1점, Mistral OCR은 22.2점으로 격차가 더 컸다.
글과 표는 상위 6개 시스템의 차이가 3점 이내였지만, 차트 처리는 아직 시스템별 차이가 컸다. 평가를 만든 곳은 Ur AI이며 14개 중 2개 시스템을 직접 개발했지만, 편향 여부를 확인할 수 있도록 원자료를 공개했다.
핵심 포인트
- 14개 PDF 변환 시스템을 일본어 재무 문서와 검증된 질문 1,410개로 비교했다.
- 전체 점수 상위권은 94.6점, 자체 VLM 조정 방식 94.4점, 94.0점이었다.
- 차트 점수는 가 98.1점인 반면 Mistral OCR은 22.2점이었다.
- 글과 표의 상위권 격차는 작았지만 차트에서는 큰 차이가 났다.
- 도입 전에는 글자 정확도만 보지 말고 실제 질문의 답변 정확도와 비용을 함께 시험해야 한다.