오래된 RAG 저장소는 최신성 조정이 더 중요해질 수 있다
RAG 저장소가 커지고 오래될수록 비슷하지만 낡은 내용이 많이 쌓인다. 이때 의미가 비슷한 자료만 찾는 방식은 질문과 잘 맞아 보이지만 실제로는 오래되어 틀린 조각을 앞에 올릴 수 있다. 테스트에서는 저장소가 일정 크기와 나이를 넘으면 최신성과 사용 이력을 반영해 순서를 다시 매기는 방식이 단순 보다 더 나은 결과를 냈다.
이 변화 지점은 어떤 을 쓰는지보다 저장소의 크기와 오래된 정도에 더 크게 좌우됐다. 큰 저장소에서는 더 좋은 을 고르는 것보다 오래된 내용을 얼마나 낮게 볼지 조정하는 일이 더 중요했다. 고정된 평가용 자료에서 잰 는 실제 운영 성능을 좋게 보이게 만들 수 있다.
실제 질문은 시간이 지나며 바뀌기 때문이다. 실무적으로는 최신성 를 한 번 정해두지 말고 저장소 크기에 맞춰 계속 조정해야 하며, 대체된 조각은 바로 지우기보다 점수를 낮추는 편이 안전하다.
핵심 포인트
- RAG 저장소가 커질수록 오래된 유사 자료가 검색 결과를 흐릴 수 있다.
- 최신성과 사용 이력을 반영한 재정렬이 단순 보다 나아지는 시점이 있었다.
- 그 시점은 보다 저장소의 크기와 나이에 더 영향을 받았다.
- 고정된 평가는 실제 운영 성능을 과대평가할 수 있다.
- 대체된 조각은 바로 삭제하지 말고 점수를 낮추는 방식이 더 안전하다.