RAG 에이전트 평가가 바꿔 쓴 답을 오답으로 보는 문제
RAG 답변의 근거성을 점수로 매길 때, 답이 원문과 같은 뜻이어도 표현이 바뀌면 문제가 생긴다. 평가 방식이 답변과 가져온 의 단어 겹침을 많이 보려고 하면, 모델이 내용을 쉬운 말로 다시 쓰는 순간 맞는 답도 환각처럼 표시될 수 있다. 검색 방식이 이든, 이든, 상위 을 넣는 방식이든 이 문제는 계속 생긴다.
모든 주장에 실제 근거 문서가 있어도, 단어가 그대로 맞지 않으면 실패로 분류된다. 특히 바꿔 쓰기가 많은 답변에서는 맞는 답의 약 5분의 1이 실패 묶음에 들어갈 수 있다. 모델에게 원문을 그대로 인용하게 하면 점수는 좋아질 수 있지만, 서로 다른 문체의 이 이어 붙어 답변 품질이 떨어진다.
그래서 평가는 바꿔 쓰기를 허용하면서도, 실제 근거가 없는 답은 잡아낼 수 있어야 한다.
핵심 포인트
- RAG 답변 평가에서 단어가 정확히 겹치지 않으면 맞는 답도 실패로 처리될 수 있다.
- 모델이 원문을 쉬운 말로 바꿔 쓰면, 근거가 있어도 환각처럼 표시될 수 있다.
- 바꿔 쓰기가 많은 답변에서는 맞는 답의 약 20%가 실패로 분류될 수 있다.
- 원문 그대로 인용하게 만들면 점수는 좋아질 수 있지만 답변 품질은 떨어질 수 있다.
- 좋은 평가는 바꿔 쓰기를 허용하면서 근거 없는 주장은 잡아야 한다.