온라인 검색용과 오프라인 배치 작업용 벡터 검색을 분리해야 할까?
하나의 대형 임베딩 컬렉션에 두 가지 성격이 다른 작업이 함께 몰린다는 문제를 다룬다. 첫 번째는 온라인 검색()으로, 사용자가 결과를 기다리고 있어 응답 속도(레이턴시)가 중요하다.
p95나 p99 같은 응답 지연 지표가 느려지면 서비스가 고장 난 것처럼 느껴지므로, 이 작업에는 전용 을 따로 두는 게 합리적이다. 반면 두 번째 작업은 학습 전 (모델이 헷갈려하는 오답 예시) 채굴, 대형 임베딩 컬렉션 중복 제거, 클러스터나 데이터 드리프트 점검, 오프라인 평가 실행, 데이터셋 탐색처럼 몇 시간 집중하고 몇 주는 손대지 않는 배치성 작업이다.
이 두 번째 유형은 응답 속도가 50ms든 아니든 신경 쓰지 않고, 대신 작업이 끝나기만 하면 되고 비용이 예측 가능해야 하며 운영 중인 온라인 검색을 방해하지 않아야 한다. 글쓴이는 온라인 서빙용으로 을 상시 대기시켜 두는 방식이 분석·배치성 벡터 검색에도 똑같이 적용되는 게 맞는지 의문을 제기하며, 두 작업을 같은 방식으로 다루는 관행이 실제로는 서로 다른 요구사항을 흐리고 있다고 지적한다.
핵심 포인트
- 온라인 검색은 사용자가 대기 중이므로 응답 속도가 핵심 요구사항
- 오프라인 배치 작업( 채굴, 중복 제거, 드리프트 점검, 평가)은 속도보다 완료 여부와 비용 예측 가능성이 중요
- 같은 임베딩 컬렉션이라도 두 작업의 컴퓨팅 요구사항이 다르므로 인프라를 분리하는 게 합리적일 수 있음
- 상시 의 서빙용 컴퓨팅을 배치 작업에도 그대로 쓰면 불필요한 비용 낭비 가능성