RAG는 모델보다 문서 처리 단계에서 먼저 무너질 수 있다
은 깨끗하게 정리된 테스트 문서에서는 잘 작동해도 실제 문서에 붙이면 답이 조금씩 틀려질 수 있다. 겉으로는 모델이 문제처럼 보이지만, 실제 원인은 모델 출력이 아니라 앞단의 문서 처리와 검색 구조에 있을 수 있다. 첫 번째 위험 지점은 문서 수집과 쪼개기다.
문서 형식이 제각각이고, 문단이나 의미가 끊긴 채 조각이 나뉘고, 수집할 때 메타데이터를 거의 남기지 않으면 검색 결과가 엉뚱해진다. 이 경우 먼저 의심할 곳은 이 아니라 문서가 어떻게 들어오고 잘렸는지다. 두 번째 위험 지점은 검색과 다.
선택, 유사도 검색 조정, 이 맞아야 필요한 정보가 모델까지 도착한다. 문서 조각에 출처나 최신성 같은 메타데이터가 없으면, 나중에 검색 결과를 출처나 시점으로 걸러낼 방법이 없다.
핵심 포인트
- 깨끗한 테스트 문서에서 통과한 RAG도 실제 문서에서는 틀린 답을 낼 수 있다.
- 문서 형식이 들쭉날쭉하거나 의미 중간에서 잘리면 검색 품질이 크게 떨어진다.
- 검색 결과가 이상하면 먼저 문서 수집과 쪼개기 단계를 확인해야 한다.
- 메타데이터가 없으면 출처나 최신성 기준으로 결과를 걸러내기 어렵다.
- 과 유사도 검색 조정은 필요한 정보가 모델에 도착하게 하는 핵심 단계다.