벡터 데이터베이스 비교는 속도보다 실제 비용을 봐야 한다
RAG 작업용 를 고를 때 QPS 순위만 보면 실제 을 놓치기 쉽다. 응답이 빠른 구성이 처음에는 좋아 보여도, , 결과에 붙는 추가 데이터 반환, 잦은 새 데이터 입력, 여러 고객이나 팀을 나누어 쓰는 구조가 들어가면 평가가 달라진다.
트래픽이 가끔 몰리는 경우와 계속 일정하게 들어오는 경우도 비용 차이를 크게 만든다. VDBBench는 단순 속도 순위보다 실제 사용 방식에 따른 선택의 차이를 보게 해 준다.
특히 빠른지뿐 아니라 어떤 사용 패턴에서 얼마의 비용으로 빠른지를 함께 보게 하는 점이 핵심이다. 새로 넣은 데이터가 검색에 반영되는 속도, 쉬고 있다가 다시 시작할 때의 지연, 추가 데이터까지 함께 찾는 검색, 여러 사용자를 나눈 검색 같은 항목도 실제 서비스 운영에 더 가깝다.
핵심 포인트
- QPS만 보면 의 실제 을 판단하기 어렵다.
- , 추가 데이터 반환, 잦은 입력, 사용자 분리 구조가 성능과 비용을 바꾼다.
- 트래픽이 몰렸다가 쉬는 서비스와 계속 일정한 서비스는 비용 평가가 다르다.
- VDBBench는 속도 순위보다 사용 패턴별 비용과 성능의 균형을 보게 한다.
- RAG 기반 에는 실제 검색 방식에 가까운 가 더 유용하다.