벡터 데이터베이스는 ‘저장 완료’ 뒤에도 바로 검색되지 않을 수 있다
에서 가 저장 요청을 성공으로 돌려줘도, 그 자료가 곧바로 검색 가능한 상태라는 뜻은 아닐 수 있다. 사용자가 PDF를 올리고 화면에는 준비가 끝났다고 보이지만, 바로 이어서 질문하면 그 PDF 내용이 검색되지 않는 일이 생길 수 있다.
권한 정보가 바뀐 뒤에도 잠깐 동안 예전 권한 기준의 결과가 계속 나올 수 있다. 그래서 단순한 쓰기 만 보면 실제 앱에서 겪는 문제를 놓친다.
중요한 기준은 API가 저장 요청을 받았는지뿐 아니라, 새 벡터가 검색되는지, 가 제대로 적용되는지, 재현율이 안정됐는지, 실제 클라우드 비용이 얼마인지까지 포함해야 한다. VDBBench 실험은 저장 요청 수락, 검색 가능 상태, 완전한 색인 완료, 비용을 나누어 측정하려는 접근이다.
핵심 포인트
- 저장 요청 성공은 검색 가능 상태를 보장하지 않을 수 있다.
- PDF 업로드 직후 질문하면 새 문서 내용이 검색되지 않을 수 있다.
- 권한 변경 뒤에도 짧은 시간 동안 오래된 결과가 보일 수 있다.
- 벤치마크는 쓰기 뿐 아니라 검색 가능 시점과 비용도 봐야 한다.
- VDBBench는 저장 수락, 검색 가능, 색인 완료, 비용을 따로 측정하려 한다.