RAG 답변 평가는 ‘그럴듯함’만 보면 놓치는 게 많다
은 답 보기 좋고 문서 내용을 조금 담고 있으며 큰 거짓말이 없다고 해서 제대로 작동한다고 볼 수 없다. 실제 사용자는 예상 밖의 방식으로 질문하기 때문에, 단순히 답 맞아 보이는지 확인하는 방식은 쉽게 무너진다. 실패 지점은 여러 곳에 있다.
필요한 을 아예 못 찾을 수도 있고, 찾았더라도 잡음이 많은 다른 조각에 묻혀 모델이 엉뚱한 부분을 사용할 수도 있다. 검색은 제대로 됐지만 모델이 원문에 없는 의미를 조금 덧붙일 수도 있다. 답은 맞아도 사용자가 정말 묻고 싶은 것을 놓치면 쓸모가 떨어진다.
오래된 문서, 중복 문서, 서로 조금씩 다른 내부 문서처럼 자체가 지저분하면, 모델이 자료에 근거해 답해도 결과가 나쁠 수 있다.
핵심 포인트
- 답 자연스럽고 큰 오류가 없어 보여도 이 제대로 작동한다고 단정할 수 없다.
- 필요한 을 못 찾거나, 찾은 조각이 잡음에 묻히면 잘못된 답이 나올 수 있다.
- 모델이 원문에 없는 의미를 덧붙이면 검색이 맞아도 답변 품질이 떨어진다.
- 문서가 오래됐거나 중복되거나 서로 다르면, 근거 있는 답변도 사용자에게는 나쁜 답이 될 수 있다.
- 에이전트 비용을 줄이려면 실패 원인을 검색, 답변 생성, 문제로 나누어 봐야 한다.