큰 자료 묶음에서 임베딩 모델을 바꾸는 현실 문제
운영 중인 서비스에서 더 나은 로 바꾸려면 기존 문서 전체를 다시 처리해야 할 수 있다. 문서가 수백만 개라면 새 모델로 다시 하고, 검색용 색인도 다시 만들어야 해서 시간과 비용이 커진다. 일부 팀은 이 부담 때문에 성능이 더 좋은 새 모델이 나와도 기존 모델을 계속 쓸 수 있다.
가능한 방법으로는 밤사이에 전체 자료를 다시 하는 방식, 새 색인을 따로 만들어 검증한 뒤 전환하는 방식, 또는 다른 자체 절차가 거론된다. 핵심 부담은 서비스 중단, 처리 비용, 운영 사고 가능성, 그리고 이를 직접 만들지 도구나 서비스를 쓸 수 있는지다.
핵심 포인트
- 더 나은 로 바꾸려면 큰 자료 묶음 전체를 다시 해야 할 수 있다.
- 수백만 개 문서 규모에서는 재처리 비용과 시간이 큰 문제가 된다.
- 기존 색인을 바로 바꾸기 어렵기 때문에 새 색인을 따로 만드는 방식이 필요할 수 있다.
- 방식은 새 색인을 먼저 준비하고 검증한 뒤 전환하는 선택지다.
- 모델 교체의 실제 비용에는 뿐 아니라 서비스 중단과 운영 위험도 포함된다.