RAG가 사실을 빠뜨리면 전체 문맥보다 답이 나빠질 수 있다
어려운 실험에서, 필요한 근거를 일부만 찾아오는 RAG는 전체 자료를 그대로 넣는 방식보다 낮은 성과를 냈다. 일반적인 은 필요한 문단의 약 42%만 찾았고, 답의 정확도는 0.22였다. 검색 없이 20개 문단 전체를 모델에 넣었을 때는 정확도가 0.47로 더 높았다.
이유는 다중 단계 질문은 여러 근거가 모두 이어져야 하는데, 중간 근거 하나가 빠지면 답이 무너지기 때문이다. 정답에 필요한 문단만 정확히 넣는 이상적인 검색에서는 정확도가 0.66까지 올랐다. 성능을 더 올릴 여지는 답을 여러 번 뽑아 투표하는 방식보다, 필요한 근거를 빠짐없이 찾는 에 있었다.
검색은 문단 단위 회수율을 0.72까지 올렸지만, 전체 문맥 방식보다 낫지는 않았다. 여러 모델 투표나 같은 답변 후처리도 핵심 문제를 해결하지 못했다.
핵심 포인트
- 일반 검색은 필요한 문단의 약 42%만 찾았고 답 정확도는 0.22였다.
- 20개 문단 전체를 넣은 방식은 정확도 0.47로 더 나았다.
- 정답에 필요한 문단만 넣는 이상적인 검색은 정확도 0.66까지 올랐다.
- 다중 단계 질문은 근거 하나만 빠져도 답이 틀릴 가능성이 커진다.
- 여러 번 답을 뽑아 투표하는 방식보다 이 더 중요했다.