RAG 정확도 문제는 모델보다 검색 품질이 원인일 때가 많다
RAG 의 답이 틀리는 문제는 답을 쓰는 모델보다 필요한 정보를 찾는 과정에서 생기는 경우가 많다. 모델은 보통 스스로 없는 말을 만드는 것이 아니라, 전달받은 자료를 바탕으로 답한다. 그래서 잘못된 자료나 부족한 자료가 들어가면 답도 틀어진다.
개선 효과가 컸던 방법은 문서를 무조건 같은 길이로 자르지 않고 문서의 구조에 맞게 나누는 것, 뒤에 결과 순서를 다시 매기는 것, 실제 사람들이 물어본 질문으로 테스트 세트를 만드는 것이다. 모델을 바꾸는 것보다 필요한 정보를 더 잘 찾도록 고치는 일이 더 큰 차이를 만들 수 있다. 도 잘못된 정보를 고쳐 주지는 못하며, 오히려 틀린 바탕 위에서 더 그럴듯한 답을 만들 수 있다.
는 여러 문서가 서로 얽힌 복잡한 질문에는 쓸모가 있지만, 단순한 문서 질문은 문서 나누기와 검색 품질을 먼저 고치는 편이 낫다.
핵심 포인트
- RAG의 부정확한 답은 모델 자체보다 잘못된 정보 검색에서 시작될 때가 많다.
- 문서는 고정 길이가 아니라 제목, 문단, 표 같은 구조에 맞춰 나누는 편이 낫다.
- 결과를 그대로 쓰지 말고 단계를 넣으면 답변 품질이 좋아질 수 있다.
- 테스트 세트는 상상한 질문보다 실제 사용자가 물어본 질문으로 만드는 것이 더 유용하다.
- 복잡한 를 쓰기 전에 기본 검색 품질부터 고치는 것이 비용 면에서 더 실용적이다.