문서를 제대로 찾아도 AI 답변이 틀릴 수 있는 이유
이 알맞은 문서를 찾아냈다고 해서 정확한 답변까지 보장되지는 않는다. AI가 핵심 근거를 무시하거나, 서로 관계없는 을 섞거나, 일부 내용만 보고 지나치게 넓은 결론을 낼 수 있기 때문이다.
문서에 없는 부분을 학습한 기억으로 채우고, 근거에 충실한 표현보다 자연스럽게 들리는 문장을 택할 수도 있다. 출처를 표시하더라도 실제로는 그 출처가 답변을 뒷받침하지 않을 수 있다.
따라서 문서를 잘 찾았는지를 나타내는 검색 품질과, 답변이 근거에 충실한지를 나타내는 를 따로 평가해야 한다. 오류를 고칠 때도 필요한 문서를 못 찾은 검색 실패인지, 찾은 근거를 잘못 사용한 생성 실패인지 먼저 구분해야 한다.
핵심 포인트
- 알맞은 문서를 찾은 뒤에도 AI는 핵심 근거를 무시할 수 있다.
- 관계없는 을 섞거나 일부 근거를 과도하게 일반화할 수 있다.
- 문서에 없는 내용을 학습한 기억으로 채울 수 있다.
- 표시된 출처가 실제 답변을 뒷받침하는지 별도로 확인해야 한다.
- 검색 실패와 생성 실패를 나눠 측정해야 수정할 단계와 비용을 정확히 정할 수 있다.