검색 증강이 ‘진실’보다 ‘다수 의견’을 고를 위험
현대 시스템은 보통 관련 있는 정보를 잘 찾는지로 평가된다. 하지만 관련 정보의 대부분이 틀리고, 소수의 더 믿을 만한 출처만 맞는 말을 할 때 문제가 생긴다. 예를 들어 출처의 90%가 틀린 주장을 반복하고, 10%만 사실을 말한다면 검색 시스템은 사실보다 많이 반복된 쪽을 고를 수 있다.
비엠25 같은 전통 검색은 자주 나온 말을 선호하고, 은 널리 반복되는 의미 패턴에 끌릴 수 있으며, 도 사람의 관련성 판단을 배운다. 그 뒤 답을 만드는 은 여러 자료를 합치면서 다수 의견 쪽으로 기울 수 있다. LOGOS-SIE라는 셋은 이런 문제를 시험하기 위해 현실, 관찰, 믿음의 단계를 나눠 만든다.
현재 공개된 구성은 1,000개 대상, 5,000개 사실, 100개 출처, 3개 커뮤니티, 50만 개 관찰, 50만 개 믿음이다. 목표는 출처 신뢰도 같은 조건을 직접 조절할 수 있는 문서 묶음을 만들어, 검색 시스템이 단순한 다수 의견이 아니라 더 사실에 가까운 정보를 찾는지 확인하는 것이다.
핵심 포인트
- 시스템은 관련성을 잘 맞혀도, 관련 정보 자체가 틀리면 잘못된 답을 만들 수 있다.
- 다수의 출처가 같은 틀린 주장을 반복하면 검색과 답변 생성이 그쪽으로 기울 수 있다.
- LOGOS-SIE는 현실, 관찰, 믿음을 나눠 만든 셋이다.
- 현재 구성은 1,000개 대상, 5,000개 사실, 100개 출처, 3개 커뮤니티, 50만 개 관찰, 50만 개 믿음이다.
- 에이전트 설계에서는 토큰 절감뿐 아니라 출처 신뢰도와 소수의 정확한 증거를 찾는 능력도 봐야 한다.