문서 정리만으로 검색 증강 생성 토큰 사용량을 절반으로 줄인 사례
원본 업무 문서를 그대로 잘라 에 넣으면 불필요한 PDF와 HTML 흔적, 들쭉날쭉한 서식, 흐트러진 문장 구조까지 함께 들어간다. 이렇게 더러운 데이터로 을 만들면 답변이 엉뚱해지기 쉽고, 모델에 넘기는 문맥도 낭비된다. 문서를 자르기 전에 별도 수집 을 두고 PDF와 HTML 잡음을 제거하고, 서식을 통일하고, 텍스트 구조를 먼저 정리했다.
그 결과 검색 한 번에 쓰는 이 약 50% 줄었고, 환각도 크게 줄었다. 핵심은 더 좋은 프롬프트로 문제를 덮기보다, 모델에 들어가기 전 문서 품질을 먼저 높이는 것이다.
핵심 포인트
- 원본 PDF와 를 그대로 자르지 않고 먼저 정리했다.
- 문서 안의 불필요한 잡음, 깨진 서식, 흐트러진 구조를 제거했다.
- 정리된 텍스트를 만든 뒤에야 에 넣었다.
- 검색 한 번당 이 약 50% 줄었다.
- 환각도 크게 줄어 프롬프트만 고치는 방식보다 효과가 컸다.