RAG 답변 오류를 줄이는 문서 쪼개기와 검색 관리법

RAG 시스템이 확신에 찬 틀린 답을 내는 큰 이유 중 하나는 문서를 어떻게 나누느냐에 있었다. 고정된 글자 수로만 문서를 쪼개면 조각이 너무 작을 때 앞뒤 문맥이 사라져 답에 필요한 조건이나 예외를 놓친다. 반대로 조각이 너무 크면 맞는 부분을 찾더라도 필요 없는 글이 많이 섞여 답 품질이 떨어지고 추론 비용도 늘어난다.

겹치는 구간을 둔 슬라이딩 윈도 방식으로 바꾸자 결과가 좋아졌다. 의미 단위로 문서를 나누는 방식은 가장 좋은 결과를 냈지만, 색인을 만들 때 드는 비용이 커서 중요한 문서에만 쓰는 편이 낫다. 문서가 바뀌었는데 자동 재색인을 하지 않으면 오래된 정보가 계속 검색되어 답이 엉뚱해질 수 있다.

의미 검색은 제품 코드, 모델 번호, 특정 아이디처럼 정확한 글자 일치가 필요한 검색에는 약하므로 키워드 검색이나 혼합 검색을 함께 써야 한다.