긴 논문 PDF를 로컬에서 파싱할 때 메모리 오류가 나는 사례
으로 논문 PDF를 로컬에서 파싱할 때, 25쪽을 넘는 파일에서 전처리 단계가 실패했다. 실패한 쪽은 25~28쪽으로 표시됐고, 오류 이름은 std::bad_alloc이었다. 사용한 노트북은 RTX 4060 8GB, 램 , i5-12450HX 사양이었다.
실행 중 GPU 사용률은 95%, 램 사용률은 80%였고, 남은 램은 약 3GB였다. PDF를 20쪽 단위로 나누어 처리하면 진행은 되지만, PDF 30개를 처리하는 데 약 45분이 걸렸다.
핵심 포인트
- 25쪽을 넘는 논문 PDF에서 전처리 단계가 실패했다.
- 오류는 std::bad_alloc으로, 메모리 할당 실패를 뜻하는 경우가 많다.
- RTX 4060 8GB와 램 환경에서도 GPU와 램 사용률이 높게 올라갔다.
- PDF를 20쪽씩 나누면 처리되지만, 30개 파일에 약 45분이 걸렸다.
- 문서 기반 에서는 파싱 시간과 메모리도 실제 에 포함된다.