혼합 검색이 수개월간 벡터 검색만 한 채 조용히 실패한 이유
고객 지원용 RAG 시스템은 업로드 문서, 웹페이지, 해결된 상담 기록을 하나의 과 표에 저장하고, 과 BM25 결과를 RRF로 합친 뒤 순위를 다시 매기도록 구성됐다. 그러나 최소 유사도 기준을 결과 통합 이후에 적용한 탓에 BM25로만 찾은 이 모두 제거됐다. 이 조각에는 벡터 유사도 점수가 없었기 때문이다.
결국 혼합 검색은 수개월 동안 으로만 작동했고, 오류나 성능 저하 기록도 남기지 않았다. 그동안 제품명, 코드, 정확한 문구, 다른 언어로 적힌 표현처럼 글자가 정확히 맞아야 잘 찾는 질문의 검색 품질이 낮아졌다. 해결책은 최소 유사도 기준을 결과에만 적용하고, BM25로만 찾은 결과도 RRF 통합 과정에 남기는 것이었다.
같은 문제가 다시 생기지 않도록 를 추가했다. 또한 고객별 정답 질문·답변 모음을 만들고, 자료에 답이 없으면 시스템이 답변을 거절해야 하는 함정 질문도 포함해 검색 품질을 계속 확인하도록 했다.
핵심 포인트
- 최소 유사도 기준은 RRF 통합 결과 전체가 아니라 쪽에만 적용해야 한다.
- BM25로만 찾은 결과에는 벡터 유사도 점수가 없으므로 별도로 살려야 한다.
- 혼합 검색의 일부가 멈춰도 오류가 발생하지 않을 수 있어 자동 검사가 필요하다.
- 제품명, 코드, 정확한 문구, 언어가 다른 표현을 포함한 를 마련해야 한다.
- 자료에 답이 없는 질문에는 답변을 거절하는지 고객별 정답 모음으로 확인해야 한다.