RAG 검색 방식을 학습시켜 적중률 11% 높인 실험
의 검색 정확도를 높이기 위해, 질문의 을 검색 전에 바꾸는 가벼운 신경망을 만들었다. 일반적인 는 의 모든 값을 똑같이 취급해, 표현만 비슷하고 내용은 관계없는 문서를 고를 수 있다. 이 방식은 특정 문서 모음에서 어떤 값이 실제로 중요한지 학습해 불필요한 신호의 영향을 줄인다.
학습 자료는 이 마다 답을 찾을 수 있는 질문을 여러 개 만들어 구성한다. 이렇게 얻은 질문과 의 짝을 으로 바꾼 뒤 학습용과 검증용으로 나눠 신경망을 훈련한다. 각 학습 단계가 끝날 때마다 검증 질문이 올바른 을 찾는 비율을 측정한다.
공개된 결과 수치로는 검색 적중률이 11%, 답변 완성도가 12%, 근거 충실도가 9% 향상됐다.
핵심 포인트
- 검색 전에 질문 을 바꿔 중요한 정보에 더 큰 비중을 준다.
- 로 마다 여러 질문을 만들어 학습 자료를 구성한다.
- 질문과 정답 의 짝을 학습용과 검증용으로 나눈다.
- 검증 질문이 올바른 문서를 찾는 비율로 매 학습 단계의 성능을 확인한다.
- 보고된 개선 폭은 적중률 11%, 완성도 12%, 근거 충실도 9%다.