운영용 검색 증강 생성 시스템의 문서 업데이트 처리 방식
작거나 중간 규모의 시스템에서는 문서가 바뀌면 문서 전체를 다시 색인하는 경우가 많다. 문서 안에서 바뀐 조각만 찾아 다시 처리하는 방식은 만들고 관리하기가 복잡해서, 규모가 크지 않으면 얻는 이익이 크지 않다.
문서 양이 많고 업데이트가 자주 일어나는 큰 시스템에서는 이 더 중요해진다. 이유는 임베딩 비용만이 아니라 최신 상태 유지, 처리 속도, 운영 안정성과도 관련이 있다.
실제 어려움은 임베딩 자체보다 문서 , , 삭제 처리, , 최신성 보장 같은 운영 문제에 더 가깝다. AI가 참고하는 지식을 계속 정확하게 맞춰 두는 일은 단순한 검색 기능이 아니라 더 넓은 인프라 문제다.
핵심 포인트
- 작거나 중간 규모에서는 문서 전체를 다시 색인하는 방식이 흔하다.
- 문서 조각 단위로 바뀐 부분만 처리하는 방식은 구현과 운영이 복잡하다.
- 큰 시스템에서는 이 비용, 최신성, 처리량 때문에 유용해진다.
- 핵심 문제는 임베딩 비용보다 , 권한, 삭제, , 최신성 보장에 가깝다.
- 의 은 단순 저장소가 아니라 계속 동기화해야 하는 인프라다.