문서 분할 방식만 바꿔 RAG 검색 토큰을 약 77% 줄인 시험
POMA Office 시험은 1930년대까지의 미국 재무부 공보를 스캔한 자료 14개로 효율을 비교했다. 문서, , 검색 방식, 평가 기준은 그대로 두고 문서를 나누고 저장하는 방식만 바꿨다. 답변에 필요한 모든 근거를 찾는 최악의 경우, 자체 방식은 약 34만 토큰을 사용했다.
문서를 500단위로 자르고 100단위를 겹치는 단순 방식은 약 145만 토큰, Unstructured.io의 제목 기준 방식은 약 148만 토큰이 필요했다. 자체 방식의 은 단순 방식보다 약 77% 적었다. 핵심 가설은 표의 숫자와 그 의미를 알려 주는 행, 열, 제목, 구역을 함께 보존해야 검색이 정확한 근거를 더 빨리 찾는다는 것이다.
시험 자료와 평가 방법은 공개되어 결과를 다시 확인할 수 있다.
핵심 포인트
- 비교 조건 중 문서 분할과 저장 방식만 변경했다.
- 자체 방식은 최악의 경우 약 34만 토큰으로 모든 답변 근거를 찾았다.
- 단순 분할 방식은 약 145만 토큰, 제목 기준 방식은 약 148만 토큰을 사용했다.
- 표에서는 숫자와 행·열·제목·구역의 관계를 함께 보존하는 것이 중요하다.
- 공개된 시험 자료와 평가 방법으로 결과를 재현할 수 있다.