피드백으로 낡은 검색 습관을 고치는 RAG 실험
질문에 답할 자료를 찾는 과정에 피드백 학습을 더한 실험이다. 검색된 마다 를 두고, 과거 답변에 실제로 도움이 됐는지에 따라 값을 갱신한다. 새 질문이 들어오면 으로 후보의 순서를 다시 정한다.
시간이 지나 정답이 바뀌는 상황을 모의 실험했을 때, 고정된 검색 방식의 는 약 42%에 머물렀다. 예전에 맞았던 자료를 계속 높은 확신으로 골랐기 때문이다. 오래된 기록의 영향력을 점차 줄이는 감쇠를 적용하자 낡은 선호를 버리고 가 약 73%까지 회복됐다.
다만 처음 검색한 상위 후보에 정답 자료가 없으면 피드백만으로 해결할 수 없으며, 질문 유형별로 충분한 피드백이 쌓여야 한다. 초기에는 일반 검색과 같고, 의 탐색 때문에 정답이 변하지 않는 환경에서는 결과가 조금 흔들릴 수 있다. 코드와 실험 설명은 로 공개됐다.
핵심 포인트
- 별 에 과거 도움 여부를 기록한다.
- 으로 새 질문마다 검색 후보의 순서를 다시 정한다.
- 정답이 시간에 따라 바뀐 실험에서 감쇠 적용 후 가 약 42%에서 73%로 회복됐다.
- 처음 검색한 상위 후보에 정답 자료가 없으면 이 방식으로 고칠 수 없다.
- 충분한 피드백이 없으면 학습 효과가 작고 초기에는 일반 검색과 같다.