AI 에이전트에는 ‘의심하는 능력’이 부족하다
는 답을 틀려도 스스로 그 오류를 알아차릴 방법이 부족하다. 문제는 실수 자체가 아니라, 답을 만드는 중에 “이 정보가 어디서 나온 것인지”를 점검하는 장치가 없다는 점이다. 실제로 관찰한 내용, 앞 단계에서 한 내용, 한 번 지어낸 이 모두 비슷한 무게로 취급될 수 있다.
그래서 내부에서는 사용자가 준 사실과 스스로 만들어낸 내용이 똑같이 확실한 것처럼 남을 수 있다. 필요한 것은 단순한 보다, 정보마다 확신의 정도를 다르게 다루는 ‘의심’에 가까운 기능이라는 주장이다.
핵심 포인트
- 는 틀린 답을 내도 스스로 오류를 감지하지 못할 수 있다.
- 관찰한 사실, 한 내용, 이 내부에서 비슷하게 취급될 수 있다.
- 핵심 문제는 정보의 와 를 구분하지 못하는 것이다.
- 단순한 보다 ‘의심’이나 표시가 더 중요할 수 있다.
- 불확실한 부분만 다시 확인하는 설계는 토큰과 비용을 아끼는 방향이 될 수 있다.