검색 기반 AI 답변도 근거를 벗어날 수 있다
문서에서 관련 내용을 찾아 온 뒤 그 문서만 바탕으로 답하게 만든 AI 기능도 위험하게 틀린 답을 낼 수 있다. 문제가 된 경우에는 결과가 완전히 비어 있지는 않았지만, 관련성이 약한 조각들만 돌아왔다.
모델은 그 부족한 사이를 스스로 메웠고, 맞는 답처럼 자신 있게 보이는 답을 고객에게 내보냈다. 은 멈추거나 오류를 내지 않았고, 겉으로는 정상 작동처럼 보였다.
핵심 실수는 을 붙이면 자동으로 근거 있는 답 된다고 믿은 점이었다. 은 모델에 을 줄 뿐, 모델이 그 안에서만 말하도록 보장하지 않는다.
핵심 포인트
- 관련 문서를 찾아 답하게 만든 기능에서도 위험한 오답이 나왔다.
- 결과가 비어 있지 않아도 관련성이 약하면 모델이 빈틈을 상상으로 채울 수 있다.
- 오답은 정상 답변처럼 자신 있게 보였고, 고객은 차이를 알기 어려웠다.
- 오류나 가 없어서 문제를 바로 알아차리기 어려웠다.
- 은 을 줄 뿐, 근거 있는 답변을 자동으로 보장하지 않는다.