RAG 재정렬이 항상 검색 품질을 높이지는 않는다
약 1만 7천 개의 조각을 독일어, 영어, 프랑스어, 이탈리아어 등 여러 언어로 넣은 RAG 실험에서, 기본 밀집 검색만으로도 결과가 매우 좋았다. 50개 질문마다 상위 10개 결과를 뽑아 평가했다. F2LLM-0.6B-를 쓴 기본 방식의 은 0.8421이었다.
여기에 세 가지 점수형 을 붙였더니 cross-encoder/mmarco-mMiniLMv2-L12-H384-v1은 0.8292, BAAI/bge--v2-m3는 0.8360, Qwen/--0.6B는 0.8427을 기록했다. 관련도가 2 이상인 결과를 기준으로 한 MRR은 기본 방식 0.980에서 재정렬 후 0.937~0.957로 내려갔다. 중요한 문서가 이미 거의 항상 1위에 있었기 때문에, 재정렬이 일부 질문에서는 오히려 좋은 문서를 아래로 밀었다.
대안으로 다른 을 쓰거나, 점수형 방식 대신 쌍비교 방식이 나을 수 있는지가 남은 질문이다.
핵심 포인트
- 약 1만 7천 개의 다국어 조각으로 을 평가했다.
- 기본 밀집 검색의 은 0.8421로 이미 높았다.
- 세 가지 점수형 중 두 개는 을 낮췄고, 하나만 0.8427로 아주 작게 올렸다.
- MRR은 기본 0.980에서 재정렬 후 0.937~0.957로 떨어졌다.
- 좋은 문서가 이미 1위에 가까우면 재정렬이 비용을 늘리고 품질을 낮출 수 있다.