안전한 AI 에이전트도 검색 단계에서 내부 자료를 유출할 수 있다
을 쓰는 는 대화 모델이 안전해 보여도 자료를 찾는 단계에서 정보를 유출할 수 있다. 문서별 이 허술하거나 민감한 자료가 에 저장되어 있으면 권한 없는 내용이 검색될 수 있다.
검색된 문서에 숨은 지시문이 있으면 을 통해 에이전트의 동작이 바뀔 위험도 있다. 검색 범위를 너무 넓게 잡거나 여러 고객의 자료를 제대로 분리하지 않는 설계도 유출 가능성을 키운다.
어떤 자료가 검색되었는지 기록하지 않으면 사고 원인을 확인하기 어렵다. 따라서 에이전트를 시험할 때는 대화 결과뿐 아니라 검색 과정의 권한 확인, 고객별 자료 분리, 검색 기록까지 함께 점검해야 한다.
핵심 포인트
- 문서마다 사용자와 에이전트의 을 확인한다.
- 민감한 자료를 에 넣기 전에 저장 필요성과 보호 방식을 점검한다.
- 검색된 문서 속 악성 지시문이 을 일으키는지 시험한다.
- 고객별 자료가 서로 섞이지 않도록 분리 상태를 확인한다.
- 검색된 자료와 검색 시점을 기록해 문제 발생 시 추적할 수 있게 한다.