민감한 문서로 RAG 평가할 때 데이터가 밖으로 나갈 수 있다
민감한 문서를 쓰는 RAG 시스템은 평가 단계에서도 내부 데이터가 외부로 나갈 수 있다. 인터넷 연결을 끊고 평가 도구를 실행하면, 어떤 부분이 외부 모델을 부르는지 바로 확인할 수 있다. 연결 오류가 나는 평가 항목은 보통 호스팅된 에 질문, 검색된 문서 조각, 생성된 답변을 보내고 있다는 뜻이다.
원격 를 쓰면 색인 단계에서 문서가 밖으로 나간다는 점은 비교적 잘 알려져 있다. 하지만 검색 결과가 맞는지, 답변이 문서에 충실한지 평가하는 단계에서도 이 질문과 문서 조각과 답변을 함께 봐야 하므로 더 민감한 정보가 외부로 전달될 수 있다. 공개 문서 챗봇이면 큰 문제가 아닐 수 있지만, 계약서, 환자 기록, 내부 , 고객 문의 같은 자료라면 외부 에 맡기기 어렵다.
제안된 방식은 평가 코드를 직접 읽고, 포크하고, 내부망에서 실행할 수 있는 형태로 쓰는 것이다.
핵심 포인트
- 인터넷을 끊고 RAG 평가 도구를 실행하면 외부 모델 호출 여부를 확인할 수 있다.
- 평가 단계에서는 질문, 검색된 문서 조각, 생성된 답변이 함께 로 전달될 수 있다.
- 원격 뿐 아니라 평가용 도 민감한 문서를 밖으로 보낼 수 있다.
- 계약서, 환자 기록, 내부 , 고객 문의에는 외부 사용이 위험할 수 있다.
- 평가 코드를 내부망에서 직접 실행하는 방식이 제안된다.