자료를 제대로 찾아도 AI 답변은 근거 없이 틀릴 수 있다
AI가 질문과 맞는 자료 조각을 정확히 찾아냈다고 해서 최종 답변까지 믿을 수 있는 것은 아니다. AI는 받은 근거의 일부를 무시하거나, 서로 맞지 않는 여러 자료를 억지로 합칠 수 있다. 자료에 없는 부분을 자신이 한 지식으로 메우고, 실제 주장을 뒷받침하지 않는 출처를 붙일 수도 있다.
근거가 허용하는 범위를 넘어 단정하는 문제도 남는다. 따라서 답변 전체가 대체로 자료와 맞는지만 볼지, 답변 속 주장 하나하나가 실제 근거로 뒷받침되는지 따로 확인할지를 정해야 한다.
핵심 포인트
- 질문에 맞는 자료를 찾는 것과 믿을 만한 답변을 만드는 것은 별개의 단계다.
- AI는 근거의 일부를 무시하거나 서로 맞지 않는 자료를 합칠 수 있다.
- 자료에 없는 내용을 해 둔 지식으로 채울 수 있다.
- 표시된 출처가 실제 주장과 맞지 않거나, 근거 범위보다 넓게 답할 수 있다.
- 답변 전체뿐 아니라 개별 주장마다 근거가 있는지 하는 방법을 고려해야 한다.